- 在线时间
- 661 小时
- 最后登录
- 2023-8-1
- 注册时间
- 2017-5-2
- 听众数
- 32
- 收听数
- 1
- 能力
- 10 分
- 体力
- 55584 点
- 威望
- 51 点
- 阅读权限
- 255
- 积分
- 17627
- 相册
- 0
- 日志
- 0
- 记录
- 0
- 帖子
- 447
- 主题
- 326
- 精华
- 1
- 分享
- 0
- 好友
- 79
TA的每日心情 | 慵懒 2020-7-12 09:52 |
|---|
签到天数: 116 天 [LV.6]常住居民II 管理员
 群组: 2018教师培训(呼和浩 群组: 2017-05-04 量化投资实 群组: 2017“草原杯”夏令营 群组: 2018美赛冲刺培训 群组: 2017 田老师国赛冲刺课 |
仅需一行代码写爬虫–simple_crawl1 `3 g, R9 f& O+ I) a+ n9 l" h
simple_crawl, x& P4 v1 B; T4 A3 E
仅需一行代码即可达到爬虫效果9 u. a8 H9 V" V" M& m2 K
项目地址(欢迎star):https://github.com/Amiee-well/crawl0 V' W$ c h2 G+ W
使用方法
" J! V2 A, `' [; J) ipip install simple_crawl( r L6 {/ D5 S) s0 b7 m# c
$ P% y* d7 q5 ]9 B. O+ E
### 以下源代码为简单介绍,详细功能介绍再源代码之下2 W* ^6 j0 S" p
from simple_crawl import request* T# N9 [0 k9 B' ]( l+ y+ [9 @
request.parse(1 w' ~4 c+ x! b( Z/ p3 `
# status 参数为运行状态,支持单线程多线程多进程协程以及联合
( C% y3 w2 d# P! T7 I2 L status="aiohttp",
" }( w$ i$ {4 h: K1 x1 J4 q2 f [ # url 参数为爬虫网址,单线程状态为字符串格式,特殊状态为列表格式
+ ~ a# A; f# ?. T6 k0 U7 q url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
: r! B: c: X5 [+ l( c # login 参数为获取登陆信息,如淘宝等网址需要登陆信息
5 ]3 z- W6 ^ U5 k #login="taobao",
; N5 R" w1 v% m" T # type_url 参数为返回源代码格式,支持text和json,默认返回text
7 }! V" b; K0 C- O% D2 L. @. E type_url = "text",
7 ~, I6 L; ^" | # Parsing 参数为解析方法,支持re、xpath和beautifulsoup
$ I9 v' }5 _& @ S& t Parsing = 'xpath',
# `! n0 z( B, h, t # label 参数为爬虫解析过程,字典格式,详情见下方
' F Q2 w& e; b1 S, ~+ j2 p label = {. f( K- f& Q4 r9 @: f2 @. D2 F# C
'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],6 s8 T( i9 g' K) \( v
'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],1 L6 [# h3 l1 b/ Q( g! x' L4 G
'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
) G5 a. N1 t3 V' T& A },
" Z, Y( Q; K- B' r# {/ B) K9 J0 @ # write 参数为爬虫结果保存,支持txt、csv、pkl、json,注:特殊状态爬虫信息容易混乱
5 d2 e, p0 [" B6 J- ^& \ write='result.txt',
" U/ h) _ R n0 p V # next_url 参数为下一页爬虫地址,@必须为href,仅支持单线程爬虫
D. {- O7 {! J! \% k2 ~; ^/ E$ d% C next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
. S6 N& q. p! B( \ # page 参数为断续笔记,第一个参数是否启用笔记,第二个参数选填默认page.txt,仅支持单线程爬虫' m, u2 H, d z& d C1 @
page=[True,"now_url.txt"],
* h: `- c; H: T, E' ?9 K, ? # clean 参数为是否进行数据清洗,防止大量爬虫收集无用信息$ j+ m6 N( W; r1 \. b4 m) n! b
#clean=True,
' r7 K% Y! g# s# Z1 x # texting 参数为是否选择连续爬虫,避免爬虫过程中出现非代码问题报错结束爬虫程序% d6 [: T1 ~# h5 Y1 N' R6 Z: \, d
texting=True,
. ]: d: p/ U* P M+ o, v2 y # Thread_num 为多线程数,默认为1单线程,支持多线程状态和异步状态0 [ A+ f7 J( T! Q; g- p
Thread_num=3,
( j& h. t# y0 i0 ^: a+ [ # cpu_count 为多进程数,默认为1单进程,支持多进程状态和联合状态9 H# T& o1 `9 \; M, }/ _
cpu_count=1,$ }! T; y9 |) M6 O
# sem 为异步控制数,默认为5同时启动,支持异步状态和联合状态; @/ P4 B" `8 p, _% }$ m6 x
sem=5,
, U- G5 L q D# J+ e # write_SQL 为是否写入数据库,默认否. e4 D! J* v0 A
# host 参数默认localhost
_% V: }1 }. \* [ # post 参数默认3306" j, o9 |4 M# S$ `# s
# user 参数默认root; ~) t! s6 z) H
# password 参数必填,必须正确5 S, a" d Q( {' y4 j L
# db 参数为即将存入的数据库名,若不存在自动创建
+ `9 E" r z _ # table 参数为即将存入的数据表名,若不存在自动创建. z+ a' U4 E/ E0 q9 J
write_SQL={
' g. V, |; X8 y# }2 R% Y3 P 'host':'localhost',, s0 Y) Z8 b2 S" y; H, N
'post':'3306',
, k F8 N7 y% {5 O& j0 a 'user':'root',
3 v. H( n P9 j8 T! p$ { 'password':'123456',2 E `8 l& d, t f
'db':'example',
l& c9 G# }' w- R8 ]' G5 {: ^ 'table':'example'" ^8 I6 G, K& p) D/ X- N* b9 C+ f
}' {3 T, W0 e; ~- B9 g- x' o' _
).run()
0 y% C. O% ?& `) B6 Y2 Q4 y$ B3 E: L& D: I* l/ T) J
介绍一下crawl参数设置:
4 E2 a: B+ i" Y1 A( h& K
7 M) W% V' C5 ^1 P$ A+ L) I' U6 O'''
* R S P5 u4 U2 a! i单行代码爬虫程序执行5 |- T3 {$ e( I& M* ^
:param status:启用爬虫类型,支持普通爬虫、多进程爬虫、多线程爬虫、异步爬虫、异步多进程爬虫,参数请参考文档
2 b$ M5 H3 Y& C:param url:即将请求的url地址,仅支持get请求
; t' p' I, i7 k9 z:param type_url:请求url后返回格式,支持text和json格式返回
( Q: l" v9 j4 w4 f& `2 J:param Thread_num:即将启动多线程个数,默认为1单线程
& t% f3 j, \$ X" k:param sem:协程信号量,控制协程数,防止爬的过快,默认为5
" t+ ^, g& U* `( K:param cpu_count:运行爬虫使用多进程cpu核数,默认为系统核数一半: x! c; k( @5 Q; [" q& `
:param login:模拟网站登陆,保存登陆信息( T6 h; d a; B& }! e+ D# }
:param Parsing:爬虫方式,支持re、xpath以及bs4方法
C |! s$ y8 J; g2 f* f:param texting:是否启用连续爬虫,爬虫程序异常报错后重新启动爬虫,
0 H2 k. g; B6 G$ l. e) E& p w 多次报错结束程序,默认否
( o) M* M, r; b/ ~. C r:param label:选择器内容,字典格式保存,+ K+ }- Q l) N( ]) U/ O+ O
字典值为列表格式,第一个参数为选择器,第二个参数为转换类型
7 Z* M9 a2 `7 p6 \, a) v1 y* M 第一个参数必填,第二个参数默认str类型- r }: i4 e) R- r6 Y2 O) T8 h- i9 {
:param write:是否写入文件,支持txt格式、csv格式、json格式以及pkl格式,默认否# b; `0 @; I2 @. }+ D9 W9 |
:param next_url:是否跨页爬虫,选择器内容使爬虫继续翻页爬虫) ]3 O- e) y3 K4 b% s+ Z2 z5 B
:param page:是否选择断续笔记接手下次爬虫处理,默认否
# W0 W3 i4 k# |" K. ^ ?. j& p4 v:param clean:是否进行简单类型数据清洗,默认否
# A) Y& }8 Y: ^( p% {2 Y. S:param write_sql:是否写入数据库,默认否$ ]/ \3 p: o6 X% ~3 ~
'host'默认为'localhost','post'默认'3306','user'默认'root',
G" T7 t& d# V" A8 c, P 'password':'密码','db':'数据库','table':'数据表',
7 k: D7 ?# S1 c; i5 w 检测库是否存在,若不存在则创建,若存在则直接插入,
; H H: j2 A) e1 H( D0 d 检测表是否存在,若不存在则创建,若存在则直接插入: B7 V. i+ X' r$ }7 m* P, z
:return True9 P% M5 ]- [- Q1 s$ o& T: H
'''
" [$ S% r% c/ D! {介绍玩法: V+ ?+ f! q6 d8 f" h/ `* t- e
接下来介绍的均为调用第三方库的情况下运行:/ [2 M! C5 Y& h! [
' w6 {! U: M" P7 G/ d* o2 F
from simple_crawl import request
. w: @' s+ d- V6 O% G第一种玩法:输出源代码
9 |5 t( F0 e/ B. }) i调用requests库进行源代码请求。
* ?+ n7 J: Q8 R2 r& F, Z# u( H4 n" k& f, [6 E6 X) D# {
特点:
! ^2 a5 {: ?% s- \请求失败则调用ip池处理重新请求访问,
: Z) X5 s3 }% O$ h' B6 q4 N出现五次失败默认网址输入错误。) w& y. b" x+ M3 ~/ J: e) I. O
支持text以及json字符串返回。默认text。
2 ]- I4 R5 U; F1 v2 f3 x/ f3 k: d# G- i8 a/ n9 g
缺点:
9 p5 o* ~7 G0 U6 q5 }暂时只能进行get请求,不支持post访问
) x7 D$ a- y& s
1 {" Y$ u) O2 _; C! u:return text or json: v ^- _) h1 [/ w' L1 b
* N7 y2 V" g7 j' u7 e
request.parse(0 }' C1 x3 j5 C$ H( L
url = "https://www.douban.com/group/explore",% S6 X+ n. R: j- N
type_url = "text"! v4 u( }8 T4 s* s
).run()
* F5 F+ F" y( g) U# return text, y( e4 Z+ S0 E* h
! o+ z; S. X. M% W第二种玩法:模拟网站登陆并保存信息% }4 e1 I# c1 q; E1 L+ \- ~
调用DecryptLogin库请求登陆访问。
, y; ~5 z+ U+ c2 j! [! Z# t4 v+ G% L4 U. E& a0 k/ y8 S' k3 L
ps:DecryptLogin库为大佬皮卡丘写的一个很不错的模拟网站登陆库,在此引用一下,因为单行爬虫原因不支持账号密码登陆,我将大佬写的二维码登陆使用过来了。再次感谢大佬开源5 n! V. d- d9 P6 y0 C* n% {0 U) E
在此放出文档地址
# r4 {- H- ^0 ?; q% f: ~, t h$ x3 ~DecryptLogin库中文文档:https://httpsgithubcomcharlespikachudecryptlogin.readthedocs.io/zh/latest/
# H E3 M E3 h( @( v' H+ h& w
4 Q1 B# j9 u4 g$ F- I3 B特点:
) r, f6 t, ]9 n( t7 R$ J& A将DecryptLogin库中二维码继承到此库(非二次开发)+ v' G3 ?5 X1 G* D6 |
支持QQ群、QQ空间、QQ安全中心、淘宝、京东和斗鱼登陆(大佬登陆库中所有的二维码登陆)
. t1 P9 J6 {( J- f8 k1 g' I保存session.pkl信息到本地方便下次登陆运行
8 S: h9 X' ]: y2 `+ Q$ |9 \6 G! V7 o' ~5 ?
缺点:& j4 l$ A2 k& j( z
session.pkl登陆信息过时无法自动删除。
/ W& v$ Z% a5 d! I导致下次登陆疑似cookie无法正常登陆。
' M# y. ? z$ K
7 b6 |7 l6 z# W:return session! W: f/ m7 w( h {0 } o1 j
0 D" x% l) x* c8 ?$ l+ crequest.parse(0 W1 }- y+ {1 n; q$ v$ ^
# 臭不要脸的推广一下我的店铺
4 b9 j5 B- v, \+ a url="https://shop574805287.taobao.com/",; \" m4 D% i* c& c" I
login="taobao"+ n+ r% z7 L! `
).run()
& |+ Z9 G* f- l' O# return text! ]2 M7 ~, f& }$ \8 X: H: w h k
2 J& J' W7 s8 ^) C- x) W+ x8 ]
第三种玩法:爬取网站信息
4 Z) U2 s& S" L: w% k, \$ ~4 a爬虫库自然少不了爬虫的过程4 t* ~5 D0 s1 a! ^, q& u4 Z3 H" o
' k( i* n$ K( {1 m. I# P
特点:
, m) n! Q! I$ }3 T! k, [8 F支持re库,xpath解析以及bs4选择器。. I( u; Z, H5 x) I. v
爬取方法为字典格式。单方面输出。
$ Q" o ~9 K% A+ H" W) t( {$ m9 `字典键为保存的字段名称。
/ N. p" Z4 N6 f) | B. x4 {字典值为列表格式:第一个参数为选择器,第二个参数为转换类型。第一个参数必填,第二个参数默认str类型。: e$ c( [! i' l' p
( W3 _/ l3 ^ a& E
缺点:暂无(等待小伙伴们发现)
# i. `# P- n; c4 J
" [& a0 H6 _4 P P" M P& w! \:return reptile_results
7 i3 V! Y$ Y4 k( Z8 Q. U; m8 ~& ^: \8 R! ^6 n
request.parse(
0 s8 l# q: A; g# ]* C' B4 e7 p url='https://www.douban.com/group/explore',; Z5 Q4 j% x+ d2 t* ~8 i5 u
# 字符串格式,选择器方法。
2 ]$ c+ {: m& B Parsing = 'xpath',0 u# h/ I* s8 I6 }. f# q
# 字典格式,参数如上。) A* L6 j0 x5 a H3 j8 f' e6 Z
label = {
2 y8 \& R: D$ @ 'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
! t; i7 L9 w% J4 k2 I& x& t' _ 'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
% ?/ |" A! }+ Z% \+ d- ]/ H# N 'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]% P) I0 [' ~- B0 C2 z) p
}* l# {" X4 P2 p+ A
).run()% Y4 ^) }% T4 v# }8 {
# return reptile_results(list)/ i" S0 `! h" E9 I
( z7 G$ Q: P: w/ u' f
第四种玩法:自由保存信息
' q* f% d: i# s$ g5 `% U2 C- A目前版本支持保存txt、csv、json以及pkl四大主流文件。日后版本更新将发布更为全面的保存方法。4 C8 r$ A- F [# M
% G) v8 ]3 r2 C: R5 z5 ^' a3 B
特点:7 ?( A* e/ u& q3 J
写入文件均为数据格式传入文件。
+ S. P/ y9 q1 F6 B6 l且输入格式规范方便阅读and省事。
3 N9 y" ^8 B" t3 g1 ~- o6 K+ x4 i% Q4 D. @3 I' }6 u) q+ \0 ~
缺点:! c; C* Q+ ?$ ^- f) k
保存格式仅四种,
8 E0 q/ f# A. s& @2 S不方便用户之后读写操作。
2 z& K0 @ Y) C) g7 f, m$ f; d
# U( C, a0 t5 p1 ~+ d$ V:return file7 h+ P% ^& v7 _+ @2 G
2 G$ g5 y+ M( o/ U( b( ~
request.parse(. V& `# K. s" g0 k: E3 k, ?
url='https://www.douban.com/group/explore',
/ X5 e R( c6 H& X Parsing = 'xpath',7 h0 j" a4 }2 q/ F3 j' d
label = {; m! e; v' D, e5 N, u4 u( J
'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
# y" M+ F/ k6 a! d 'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],3 f1 n2 I9 i( i: u& _
'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]) F) g2 X. ^$ S2 x' S |
},& ^, M9 m4 n( N. k
# 字符串格式,具体保存位置填写) T' a/ @) O/ l4 Z$ \4 H4 U6 A
write='result.pkl'
, _7 m4 s- ]' B; L; V' W).run()& D4 ~0 _2 N v6 w
# return file
! g, a n2 c; b* r" p
5 U6 H% a% M6 _* j5 |第五种玩法:读取下一页 url 地址继续爬虫
/ u @* `4 E* D* _1 S这也是每个人都担心的问题,仅仅一行代码怎么可能翻页爬虫。这还真能做到哦~
. `! w w4 [- s s' \6 E* l. H8 M! K% L- ?
特点:+ N4 v- B0 N3 |) l' A; z7 S. E2 j4 l
继承之前的Parsing参数选择器选择方法。
0 t, ?+ F2 e' x7 U/ X在这里可读取到解析后的下一页 url 网址。
! M, S" d0 `) L' M3 v方可继续进行爬虫处理。方便用户使用。- f) f* X& E4 Z- [ l) i6 M
3 n, D3 i J# q, _# `
缺点:
/ D9 y! b+ P e( x( `6 J$ M" [+ |若爬虫时下一页 url 地址改变,便结束爬虫。
3 v( k* h" N( F( y2 E* _只能爬取所给 url 地址中的信息。5 f2 \/ H& s: E
无法进行某一界面的多个网页爬取返回。
6 b6 ^$ Z, W9 P造成访问页面单一流失。1 m2 U a0 Q/ K5 q, `9 w8 F3 G
1 @2 T) k3 {8 h3 L4 @8 g
:return None& V+ T& Y+ h! T x2 d9 h
& @. g2 t- ^5 v, R# Urequest.parse(
: I2 O; V$ K+ Z8 H url='https://www.douban.com/group/explore',
. K$ e! _* B* A1 ]' J2 A: _3 U& B Parsing = 'xpath',# O: \* W6 }" a
label = {! U- f; @: C+ a8 K$ {6 O
'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
# L) d4 j- G3 C9 L# j 'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
3 U2 y0 ?$ P2 n& L" J 'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]! g' i6 Y1 W6 _9 T% e, \' F% _
},
/ a8 t% C# G' F4 [& P write='result.pkl',
" u% d0 E0 L9 E # 字符串格式,根据Parsing方法继续请求下一页a中href
4 o ?5 q" j1 m) x( s5 y/ A next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',0 ]) z' X' ]6 n6 t t
).run()6 I9 d, C( T" T% a
# return None # Y0 d3 X4 t9 t2 R' h. D
" u# ~% B( {4 @/ }+ U$ w1 R9 X. A
第六种玩法:爬虫网页保存
! N1 G& ]( {: b; n( E听说过爬虫断续重连的朋友应该懂得这是个什么神仙操作。每次爬虫运行期间好好的,睡一觉醒来发现代码报错了。。。这就是个很难受的事,还不知道之前爬取到哪一页了,只能重新爬虫了啊! w& y, c! [1 d, ^7 A0 }( s2 t5 v6 y% S) t
# G) S, D9 M7 a! K6 k3 C, R6 ~% m
特点:
( D# \ p$ \2 F% E持续输出断续笔记。
( p5 v# d X3 u将此次爬虫的 url 地址保存到一个文本文档内部。
- B) S6 w% F3 w6 g% M& y g& j+ I6 J下次读取文本文档即可快速进行直接断掉的爬虫 url 地址继续爬取所需。
& p( a( _# }' i2 N0 ^+ X: \6 O+ @! O% a
缺点:4 K! X0 v5 R) Y/ U: J6 {
读取内容不单一。
( ?& Y1 h# H4 @导致下次爬虫无法正确读取上次爬虫留下的痕迹。
b* K: _3 {) }3 C3 R, ]; t4 B
8 z L9 H* ~7 u; v8 @6 |+ `:return url_file3 m. c3 }0 X$ d' g
3 ?1 x( q5 ^! O, x3 ]9 T9 [request.parse(6 V T! l9 Q+ l9 m
url='https://www.douban.com/group/explore',
) i: t% O& X1 q2 f/ g type_url='text',; w |* ]8 p$ c$ G2 O& f) s
#login='taobao',! \: c9 [& J" @6 I+ ]* j$ j8 Y
Parsing = 'xpath',
0 R y0 n6 w& }# J {6 q label = {
4 e5 s v3 t2 V9 {( z! a: ^, g4 Y 'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
0 o$ v8 h, v; f# ^" z- z" f0 ? 'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],6 f8 g6 U0 r1 t9 n
'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
; h4 T' p4 l% I R$ I' B },
" J3 ^2 i) X9 Y" c, a write='result.pkl',) R3 m2 S5 L2 I+ W5 v: ^/ d8 Y
next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',5 E) G+ c# n( Q z+ T: M" p# e
# 第一个参数为是否需要断续笔记。/ {& V* P/ W5 X
# 第二个参数为断续笔记保存位置。4 ~6 |( z' K( K& V
page=[True,'url_page.txt']
) N% p- _5 c8 q( L* w).run()
( w% e% f/ C# d" n) i# return url_file
k6 Z0 t' ?, P
# k# k% S$ b4 X7 E! Y第七种玩法:简单数据清洗$ `. S1 Q' v- @4 q9 n/ ` L9 h- \8 L
数据拿下后,直接保存到本地有些大佬可能觉得很辣鸡,连清洗都不清洗就存入本地了?那得拿到多少废数据脏数据。那么接下来介绍一下清洗参数。
7 E! W X; w4 G( J' Z- t9 I( h1 i
N w6 F ]0 @特点:
1 j# z1 Z$ }8 o9 q0 [! L# o本人曾写过一个底层数据清洗。' R, J3 X1 T6 n* q! U: ~
能将列表格式数据进行归分清洗。% b% i7 r$ s$ E7 B" P3 r6 @7 ]& E
主要内容请参考另一篇文章5 t p: F+ O( U4 Q" R9 C! D ^
如下连接:数据清洗8 F( l( ]# h/ N; o) v' v6 ?; C2 O* j
' I* V7 X4 t6 G缺点:8 U+ z6 g, E/ R- H7 M
数据清洗格式简单。
+ m, N6 [+ m ^8 K数据清洗内容单一。. f" q1 N/ I$ X U; G0 A+ A0 _4 v
无法完全做到绝对清洗。
+ L; i2 [2 {# L. q9 }有待改善。
/ M8 D& T5 L2 `: T7 K
+ p; c+ f+ @) [/ ]:return keyword_list, value_list
2 m6 f, H7 A l/ V& M
' q4 N) @; L4 w& D4 Arequest.parse(. i7 Z% M' n1 H! ]4 C& B. A
url='https://www.douban.com/group/explore',
0 J& t! k9 B: J! U Parsing = 'xpath',
/ I# }4 E$ k0 X2 J% M/ z label = { G y8 D& \) t# x
'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
. Y& y2 P5 [ e, c3 j" X" B 'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
: H* D7 ?/ { Q, e n/ E/ X3 S 'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]. o( O# Z) [2 U9 m' k3 r
},
1 }$ a2 n' ~$ o2 n0 E write='result.pkl',- z2 D9 A/ d1 {0 E& t. N: {/ _2 S; T
next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',' G X2 h1 X8 T' `
page=[True,'url_page.txt'],
! o/ I/ w$ c! g3 O: m# G6 R # bool类型,默认不清洗9 ]0 w$ S! [3 O' U9 T5 b6 m- U
clean=True
/ ^- Q* a3 e/ R* w1 c).run()
" i9 v, l0 K( |! o' u1 b) a/ W% \9 J
9 M9 z6 M7 k9 t7 J第八种玩法:爬虫存入数据库
# b2 b3 N m1 f+ [. | ~; l7 z存到txt、存到csv、存到json、存到pkl,那也太low了吧。现在流行的数据库用不了么?那是不可能的。。+ A# e$ ?# a9 I$ W) X
" E5 D w. R7 C6 [
特点:7 k' C+ T9 p; J# V2 L% ?$ i6 l
信息存入MySQL数据库。; `- a* }/ ~% X1 b9 I: F
可连接docker远程数据库。
) ]5 Q+ F3 ^* E& S2 R$ j+ P数据库的库名可以不存在。
/ h. o+ P& f' H$ [# S+ ?数据库的表名可以不存在。
1 G, i5 l p! D+ C* S0 W4 z根据之前传入字典键与值参数判断表类型。
U! Y1 G8 Q9 k! m. y自由建立数据表传入信息。% ^" K0 V9 G: ]9 P, \0 [6 ^8 f3 w& c
f# b( b5 ?# l5 j& K5 \9 u缺点:, a& t3 g& ]& s; r( A) T: w' p
仅支持MySQL数据库。: Z1 s5 t0 d1 Y5 t
3 b2 Z( r/ @3 e" t$ M:return SQL: }& Z2 u! I7 ]! v0 A/ M2 D
4 A Z- s+ T9 j( A/ `& \) x
request.parse(
4 r+ U( ]" n% w2 X, ^6 R7 F url='https://www.douban.com/group/explore',
% k- l" [+ ^! W Parsing = 'xpath',, W8 g" i( M3 [/ n9 x% @
label = {/ N4 d. L% L2 U* o+ K
'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
' B5 N0 l1 m& \7 T. } 'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
4 `0 X8 r9 b) c; ]2 S 'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]* r8 T4 z" ?$ t; o
},, I9 R D* U( ^" ?
write='result.pkl',' e. b* i& F8 C( X B6 ~
next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',# @9 H1 f6 o& X6 \: e4 w
page=[True,'url_page.txt'],
1 o: Z8 U+ F- h, Z8 R clean=True,
% h" N, Q0 Q0 }. J+ [( k # 字典格式,
. E$ |1 d5 S7 f8 H # host可有可无,默认localhost
0 G; C p/ W1 a3 m # post可有可无,默认3306
- Q' D; r$ s: s$ h" z+ X) u # user可有可无,默认root, p7 h; g+ Q o' K4 p
# password必要参数,数据库连接密码. ~9 ?# }5 M4 G3 A! k- J
# db必要参数,数据库即将存入的库名& s K3 v3 S! j; w' Y9 _9 z
# table必要参数,数据库即将存入的表名$ e7 [. D+ ~: S& z0 `
write_SQL={6 G- |1 C+ |+ S+ R. H2 v
'host':'localhost'," \2 x, x- f8 W: X' x
'post':'3306',6 T1 f) l; h, m
'user':'root',* u R; v* O8 O l
'password':'123456',
7 E3 `# j- S% A3 t4 n 'db':'example',9 @* k, \$ p7 A- P7 T, J/ D/ ^/ I; ?
'table':'example'0 h, h$ r# W4 d* L' T4 b0 j
}
7 p& ]6 P# A1 z, v ).run()! A. c F! K6 w, I; t/ m! k
9 h0 k: R% H' s第九种玩法:重新启动爬虫" M }5 n8 v4 z. f$ j% l
爬虫最让人厌烦的就是被一个不痛不痒的错误信息给终止爬虫了,比如意外的远程断开链接等低级非代码错误,报错之后还得重新启动断续爬虫,就显得很麻烦。我做了一期爬虫程序异常报错后重新启动爬虫,多次报错结束程序。
: b! ~; m7 I2 k3 L7 T/ s
4 \( q. w2 S7 s k5 q特点:% K' a* u% q3 g' Q# j
检测报错重新启动爬虫
/ f' q, [, d% i" P无需手动处理错误信息
9 O7 R' x/ e1 s! v9 Y: ?& S$ p3 M- S0 C; @4 C
缺点:2 ^' P% N- n6 P- Q" T& r0 o* M
无法收集子线程错误。2 w: a g5 Z8 R4 \
5 |% f4 t$ T4 A& H/ w. Z
:return None
; H5 V, k$ B/ b3 q7 }1 k ]9 r! { X6 I8 T& i
request.parse(
2 U- B$ w7 O+ H- n, I. @ url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],5 f( |7 X, |6 C: B
#login="taobao",
4 [" A$ Z1 O! ?' P type_url = "text",6 _5 {* ^; G: n7 C2 N& \
Parsing = 'xpath',
" d$ q1 h% i+ ` label = {0 t) R7 |4 [! U' N* d/ l0 s
'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
7 [# R$ E/ J; o3 ~3 v: Y2 F/ ? 'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],; g) r$ e& Z) B2 I) \- Q7 y8 h
'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]! X, S1 o( {* d+ Q& R o2 E, P" ?6 d
},; w& }! a6 C3 k
write='result.txt',
% K* ]* w8 o1 Z# \: n8 Y next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',7 L: G! J) c$ b/ c2 J* n- ?
page=[True,"now_url.txt"],
6 ?1 ]6 D3 N( C5 w p- u8 {4 a1 l # texting 参数为是否启用连续爬虫
' [: C! p* s$ ]; z # 爬虫程序异常报错后重新启动爬虫# a! b8 q. A, W
texting=True,9 L# P/ X9 C& D
###! f. w( R% Q8 a R0 t, N8 S& P7 b5 Q
write_SQL={$ F2 I- q M7 c) ~0 V/ X
'host':'localhost',8 M% D1 @, r; S" ?$ \
'post':'3306',
9 p0 h/ I2 X" q; E 'user':'root',4 B" l: @4 G6 P6 ^" c! D
'password':'123456',2 p" i1 r0 H4 Z5 K& t5 b
'db':'example',
, ]3 O; Y, k, |2 n7 s8 C 'table':'example'
) ^7 l5 K8 R. N) ^ k! A& S }
# i" ` p( Z* K5 w7 Q3 \).run()
. }3 i' ^* P I5 B- A- n8 s% d. n. }* o7 X# u. B
第十种玩法:多线程爬虫" ~5 m! ]) o4 g& S( \
特点:% D' ?$ J: l+ y5 |4 e% X7 C
爬虫速度加快,6 o J/ ?, R" R1 T
更好的利用了线程。
" W: C$ P. S) t) O. h( e* E- B$ w$ _- z1 c% i/ p
缺点:暂无3 |0 ^4 A/ ^, m V# R' r+ i+ f
4 T, x, J4 E; u; C+ B# }. ^2 N
:return None0 t0 O! w; Z) G) K: R
$ s% Q) y z, Y$ [* H2 {
request.parse(
3 K4 H, u5 Q( ^9 u! X url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],) f3 B; g, f: q# d
#login="taobao"," B- _0 q9 U( L, M x. u
type_url = "text",
+ {$ { p) t+ o) M( Q Parsing = 'xpath',
8 S, _+ q2 [2 L! r label = {7 E& f2 z I' u J3 |# ~: x$ m+ j! Q
'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],* D* z$ v/ @7 W, r, p" t
'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],, E F( E) n1 z7 g8 s8 S
'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]- W( g, g p+ u( y2 F
},1 o+ S. f& b% y/ g) k
write='result.txt',
* o5 \0 a, d0 N+ V4 ?$ V; ^ next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
]5 |: f6 G; D) z page=[True,"now_url.txt"],3 x5 x: ~1 y. ^3 [! F: F. @
#clean=True,6 K( Q% s6 W& F" T/ i& ]
texting=True,8 ?9 m, Y( i+ T! A' Y, g. R1 m v* \* E
# status="threads" 启用多线程爬虫1 z9 k. V$ W, x, P
# Thread_num 为线程数目,默认为1 单线程% x% C2 z# l' u$ w$ L% L
status="threads",% M' }/ d' z e6 F3 U( X! S% e9 ?& h
Thread_num=3,4 t4 F9 b W5 W. X
###1 `2 H$ u$ h, |3 N+ E. c6 z
write_SQL={& S6 D! n4 f# q9 O( R5 z
'host':'localhost',! J" r6 Q# j4 Y$ z5 p! Y% v) ~
'post':'3306',. x, ~- R3 u u7 l$ Q8 G+ C
'user':'root',
2 s3 `. B- e9 ^4 j: C' f 'password':'123456',
2 y \$ Q% I$ t% ^. E0 \# d 'db':'example',! z: v" {" P+ m# b0 }; X6 M, `: k
'table':'example'! g5 u7 V' [; g; r, w3 A
}# d0 U+ f2 e5 Q6 P7 u
).run()' y3 ~+ F3 K8 z' u! g$ U
$ K/ b8 ]: L% ?$ \1 ^$ g2 j0 Y
第十一种玩法:多进程爬虫
2 Y6 n" F7 u( |3 h特点:4 G' V; v6 c5 u- A5 z- B0 Z
爬虫速度加快,% p* k* K$ D- c! r) Q* F1 `4 n" ^8 n
更好的利用了进程。
5 N% I+ C$ E# F! l6 H R: G3 G
" y7 n- _3 D' _5 ^7 t缺点:暂无
5 Z% b1 s- T, {1 A4 @
' y! y \5 Z% ]" T:return None
2 O0 ?+ Y2 t1 _5 h8 r) b% O W8 b, M7 l* V0 B0 A
from simple_crawl import request/ y; A5 w, j9 ?% W1 `# _* I9 t
request.parse(7 d5 m9 j, R4 F7 b6 t' r
url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],( H7 w7 x' v: _# N4 n# g
#login="taobao",4 d2 [& }( {0 H- f1 G; j
type_url = "text",
) _" ^9 z6 c6 n Parsing = 'xpath',
8 W) e+ u, I2 l- h label = {) |, e5 v6 [' @
'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],: o4 H# j9 v: P, u) W& `4 d
'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
7 t0 U% h4 [8 ^5 Y+ K) e 'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
0 F) G5 L& A: o0 }$ S: m5 b },
4 r j3 P- h2 { write='result.txt',
% N% I/ k) H. u" U% ^# R! C next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',7 p$ a9 T% r1 O* R- Z4 p6 ?/ q/ Z
page=[True,"now_url.txt"],& i7 I. H8 Y8 A$ z
#clean=True,. x! S/ b ^0 M/ g# k9 n# G0 v
texting=True,
" a5 I' i, i4 Q7 b& \% }4 e# b # status="multiprocessing" 启用多进程爬虫
: {: ~/ D3 X6 ?5 N5 }- ]* C2 L' b # cpu_count 为启动代码核心数,默认为系统核数一半6 F4 {. Z. h4 N ~
status="multiprocessing",5 p+ t* m' p& e/ I4 b0 ]
cpu_count=2,
1 G; p/ n" o- S6 X6 z. y ###
- m y( E5 l1 K) s8 [8 E; f% W write_SQL={/ T) V7 e" }# X3 S+ _
'host':'localhost',# s! v, a1 y6 L; W1 o! i3 t+ m8 y
'post':'3306',
. l8 k& p6 E8 q/ O, Z( X; J4 n: ^ 'user':'root',' R! D: c a% Y0 v$ _! h
'password':'123456',' {0 |* w2 ~, h9 f- l2 X
'db':'example',
: H4 \! T- q$ q1 q 'table':'example'
) v/ D: m! L( o' K% \ }
s7 i _8 b. g m5 s6 t).run()
2 g9 L4 p; s* `9 C( ~& m+ b! R9 v6 |$ T% o* C6 ?
第十二种玩法:异步多线程爬虫% ]9 D( X1 J2 L v
特点:# A- f" i+ d' i; K, X0 o
爬虫速度加快,
; ?7 c2 y! \2 |5 r: y' H' C0 X异步使得爬虫无等待时间,- U0 }7 F. m. G$ D8 `$ F6 U/ w1 A4 ?4 `
同时使用多线程速度明显加快。( n$ ~1 @8 X: d( W2 }
7 V- e/ \; H# P% q. V缺点:暂无
8 q8 t+ |+ N/ X) @# k0 p" J1 i; K2 g& Y3 m7 N2 a
:return None
6 i& G1 Q: z% i5 R# j% g% n! Z' V% @# s) [& t' D% k
from simple_crawl import request
8 b9 ~! s5 Y/ _1 m; Urequest.parse(+ E3 t3 r9 S/ F: F- `7 k8 I
url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],. Z" y8 J: D, [3 Z+ ~
#login="taobao",& V( A: ]1 g: E$ n6 @
type_url = "text",- c: q* Y0 m1 [* c/ f* f
Parsing = 'xpath',
* z z( g1 W0 z3 O( X label = {
; A+ g' g4 [6 U9 A- z4 W' j 'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
/ a8 B! n3 n, K5 |. _" G) x' R: e; N 'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
1 O8 \8 n4 F/ F 'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]2 M, L$ x0 t, U
},* ]+ x6 \) l- ?: X- r
write='result.txt',' l2 e0 j1 w. X3 k8 k- ?: K
next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
/ V; E" w6 i/ ^$ h0 G page=[True,"now_url.txt"],5 u( L; k. }/ U
#clean=True,
2 z+ L% r* U, h( N: ^6 g# A% z) { texting=True,
, S4 U, H! u' Z # sem 参数为异步引擎数目,默认为5
5 J* I+ l0 s' C' K5 E # 其他参数同上
: @# t! N* G, }3 w4 C: p/ m status="aiohttp",
2 }( ?1 [4 G" d3 Q Thread_num=3," q. D! W" Q" z$ |/ H
sem=5,9 I9 N: x, ~ S# X% u8 `2 C7 r
###( U3 T3 C0 ^* `/ o* g- l s4 ]# w
write_SQL={# F+ P& @% M1 U3 j. a9 E
'host':'localhost',4 H# K x, F( x# `* ~# F6 w* e
'post':'3306',
* m5 z1 o9 j% f( t4 i" _* e3 @ 'user':'root',
: q: x: E' M4 o# E 'password':'123456',1 f G% n3 a5 Q; V0 D1 I
'db':'example',
, J! E" G7 s# r 'table':'example'
6 W/ P. I/ g! `8 r0 T+ R }
& i5 G% ~! j; E; Q7 ~' c).run()
0 x Q! e- Y/ i& h4 F3 S \( H2 u+ J( \) ^" h! m8 X
第十三种玩法:异步多进程爬虫' L0 S. p! v: d2 T
特点: i1 a% E) B' J# X) e( P$ B
爬虫速度加快,( q% X9 ?5 F. J6 ~
异步使得爬虫无等待时间,0 |) [& f6 W6 T$ ^9 l2 w
同时使用多进程速度明显加快。
1 H! J9 c. d5 j
/ m2 q+ K. l$ I* _+ V2 X缺点:暂无
7 {6 f, B+ o* B& i2 R! o0 D* O b$ k4 e$ F8 F) v& J
:return None" f* g& ?: W$ C
4 K$ Y4 d# L* q) g
from simple_crawl import request
* q/ {( i0 C: W5 A% [* j' u- u" Mrequest.parse(. E3 f4 ~2 ], \/ s8 e+ }! g
url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
* C# f7 T& |0 `0 O- }) L #login="taobao",
, j( W& y( ]% R( [5 I2 u6 W8 L type_url = "text",) p" r) D. \9 G
Parsing = 'xpath',
+ Q: G, l, ]+ z' y7 n3 H label = {
7 |: J' C# d, Z3 _" \! ^5 c+ | 'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],# E& o: O, g' q' p0 u3 {' S
'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],8 F$ T$ z: s9 j7 |
'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]& W; H$ z! e1 I6 N- W
},
) R+ h! e& D& H- a! Z* A write='result.txt',
! F6 F- [! o) D) I+ k next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
" j& x" ~ I/ j7 s page=[True,"now_url.txt"],
# a2 z }4 V& r. M #clean=True,
8 d' V* Q" R& z, p8 K& W* G texting=True,1 T( T+ v, r& M; m( w
# 参数如上
6 K( M7 N8 Y; t; ? status="between",' i" E N* |; X. f# B
cpu_count=1,& f/ s/ \ S: o3 }
sem=5,9 f5 F" l$ r) U
###
( |! j$ `* Q2 s+ k& _" D( g# o write_SQL={
# W1 s- k! s0 ]% P3 B, B 'host':'localhost',
. ^ V/ O! @# F& E0 x( v 'post':'3306',9 s( v# t ?( I$ B% S
'user':'root', D+ ?+ F" E, Q8 z
'password':'123456',
* i9 }: ]' F5 N/ x 'db':'example',
% `3 n+ Q$ ~' v, \5 | 'table':'example'
/ |4 E6 [% W; n8 Z }
, t- d0 ^+ k( r1 \ M' H).run()
$ V+ g& s7 W: A1 l8 [; h3 {) s: m0 `2 q6 }3 g8 c$ Y/ }
0 a5 k/ |- @5 f( E
功能介绍完毕🤞
. w- V1 o# R( A$ A" |( j8 `& g最后还是希望你们能给我点一波小小的关注。" o7 x1 x ^2 V+ G+ C
奉上自己诚挚的爱心💖+ e: u5 e t; T- k* r$ a
————————————————
3 ?+ w! J$ g8 M/ U [版权声明:本文为CSDN博主「꧁༺北海以北的等待༻꧂」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。 J+ N% O7 H' Y
原文链接:https://blog.csdn.net/qq_45414559/article/details/106005684% d; X& X) m# P7 I: g L
5 t" Q" g3 K2 b) V0 B3 g, ~2 ~: [- x4 p9 f' H
|
zan
|