Python爬虫仅需一行代码----crawl第三方库

zhangtt123

仅需一行代码写爬虫–simple_crawl
simple_crawl
+ p' L$ K4 K' |3 ]- s7 C/ x. `仅需一行代码即可达到爬虫效果
项目地址(欢迎star):https://github.com/Amiee-well/crawl
使用方法
% k3 T3 r/ P1 ~- Z+ p+ |8 Xpip install simple_crawl

### 以下源代码为简单介绍,详细功能介绍再源代码之下
0 K7 [1 i! x$ v; W) K% o+ @8 _from simple_crawl import request
8 Q2 ?$ s. J" ^0 f$ T# wrequest.parse(
3 ]: f5 g: z& m1 x; `' U* S8 M; P        # status 参数为运行状态,支持单线程多线程多进程协程以及联合
        status="aiohttp",
) a: i8 y& v1 S2 x% S        # url 参数为爬虫网址,单线程状态为字符串格式,特殊状态为列表格式
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        # login 参数为获取登陆信息,如淘宝等网址需要登陆信息
    #login="taobao",
    # type_url 参数为返回源代码格式,支持text和json,默认返回text
8 A% X( d' s3 W5 {' W    type_url = "text",
    # Parsing 参数为解析方法,支持re、xpath和beautifulsoup
    Parsing = 'xpath',
4 L9 H6 A- X, Q0 J1 [+ N    # label 参数为爬虫解析过程,字典格式,详情见下方
    label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
* k- f* K3 \3 v            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
1 k5 O2 J" ]/ O5 z            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
3 T: N8 U2 i8 p     },
     # write 参数为爬虫结果保存,支持txt、csv、pkl、json,注:特殊状态爬虫信息容易混乱
     write='result.txt',
3 [& P  t1 _, L. @! H$ T6 D* L     # next_url 参数为下一页爬虫地址,@必须为href,仅支持单线程爬虫
     next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
9 |# F% ^9 x, e! K/ \# ^     # page 参数为断续笔记,第一个参数是否启用笔记,第二个参数选填默认page.txt,仅支持单线程爬虫
1 q7 P1 t' K. r% n* K1 {     page=[True,"now_url.txt"],
7 z; y4 f: i4 B9 r     # clean 参数为是否进行数据清洗,防止大量爬虫收集无用信息
     #clean=True,
     # texting 参数为是否选择连续爬虫,避免爬虫过程中出现非代码问题报错结束爬虫程序
     texting=True,
2 i$ M: K+ ]% ~3 q9 P& u" k, J     # Thread_num 为多线程数,默认为1单线程,支持多线程状态和异步状态
     Thread_num=3,
5 C; e( g* R4 X) J! G7 E8 L     # cpu_count 为多进程数,默认为1单进程,支持多进程状态和联合状态
' H. T1 \( n% ~: h% g. I- S     cpu_count=1,
% P3 L2 X& u- [( k/ ^     # sem 为异步控制数,默认为5同时启动,支持异步状态和联合状态
     sem=5,
     # write_SQL 为是否写入数据库,默认否
; z/ D( ]$ i3 E% V* l     # host 参数默认localhost
     # post 参数默认3306
     # user 参数默认root
* k0 e$ ^/ i. ?0 h     # password 参数必填,必须正确
     # db 参数为即将存入的数据库名,若不存在自动创建
$ p; D  R: @& N% k0 j     # table 参数为即将存入的数据表名,若不存在自动创建
     write_SQL={
" I1 W* Z7 y3 w9 g! T. Q8 d         'host':'localhost',
         'post':'3306',
' |* r0 p- h) Q         'user':'root',
( E- N, j; t# Q0 a  X/ E  X4 N         'password':'123456',
9 c; h9 {: z" h% b% Z4 y6 m         'db':'example',
         'table':'example'
      }
, R' w: c  g" N/ M! O0 z8 j).run()

介绍一下crawl参数设置：
  u$ I* y4 R- R5 q9 U0 N$ _
- Z% u/ m3 Q+ n% u) b, }'''
单行代码爬虫程序执行
:param status:启用爬虫类型,支持普通爬虫、多进程爬虫、多线程爬虫、异步爬虫、异步多进程爬虫,参数请参考文档
:param url:即将请求的url地址,仅支持get请求
:param type_url:请求url后返回格式,支持text和json格式返回
:param Thread_num:即将启动多线程个数,默认为1单线程
:param sem:协程信号量,控制协程数,防止爬的过快,默认为5
4 Q' s/ ~; `; j' x) n# I7 F:param cpu_count:运行爬虫使用多进程cpu核数,默认为系统核数一半
:param login:模拟网站登陆,保存登陆信息
:param Parsing:爬虫方式,支持re、xpath以及bs4方法
2 G2 s( y1 B' _  e- {5 e1 l. j:param texting:是否启用连续爬虫,爬虫程序异常报错后重新启动爬虫,
" `& J+ s/ j# }( t0 l                       多次报错结束程序,默认否
, v1 M* t, R/ B2 c: z$ c; ]:param label:选择器内容,字典格式保存,
1 v% N( b% w  a/ W; h3 |% ?. a                     字典值为列表格式,第一个参数为选择器,第二个参数为转换类型
                     第一个参数必填,第二个参数默认str类型
:param write:是否写入文件,支持txt格式、csv格式、json格式以及pkl格式,默认否
- d8 {. b4 }. Q2 u# p# M( |+ p:param next_url:是否跨页爬虫,选择器内容使爬虫继续翻页爬虫
:param page:是否选择断续笔记接手下次爬虫处理,默认否
:param clean:是否进行简单类型数据清洗,默认否
, x) U. P1 }$ }6 J5 F/ M:param write_sql:是否写入数据库,默认否
! W' |! V/ M% y- ]7 v3 k                         'host'默认为'localhost','post'默认'3306','user'默认'root',
: c. C+ R0 J; d( u6 B. r  y: w% |                         'password':'密码','db':'数据库','table':'数据表',
( Y- f" @% ~' j2 r- K% i7 y                         检测库是否存在,若不存在则创建,若存在则直接插入,
; c' e, `5 z8 G( T                         检测表是否存在,若不存在则创建,若存在则直接插入
:return True
! _5 a# s  K+ h$ s'''
介绍玩法
接下来介绍的均为调用第三方库的情况下运行：

8 L. T' t8 }8 J& F# H8 ~from simple_crawl import request
6 e2 P5 q9 B3 @" m( [' M- M第一种玩法：输出源代码
  G. f) ^" ]" S调用requests库进行源代码请求。
  W  R1 K. S8 I. s- V# D$ @8 f
* p+ I; |2 Q9 X* E; q6 {特点：
请求失败则调用ip池处理重新请求访问，
/ \2 l5 M3 J4 K出现五次失败默认网址输入错误。
$ h) Z7 d3 ?5 z0 k+ A* R0 N1 J; {支持text以及json字符串返回。默认text。

! f+ m7 T6 s, c+ V/ q6 `缺点：
  s+ L8 C& O# A) Y/ \9 U7 h/ r暂时只能进行get请求，不支持post访问
* g5 _5 B5 |" i9 ]+ {6 C, z$ v
：return text or json
9 h- z1 G/ W) R, D  }  ]& x
; m4 F8 f) ]: }( ?. [/ s2 frequest.parse(
        url = "https://www.douban.com/group/explore",
! e8 A1 v1 G6 L5 w+ \        type_url = "text"
' ?- k3 B4 m- V3 [- L0 M) C, |).run()
  k7 _/ d! E. y/ H6 |# return text
/ J/ Y; ?8 U5 z6 c) s; G# H1 P
第二种玩法：模拟网站登陆并保存信息
调用DecryptLogin库请求登陆访问。
5 N: h9 J" {( T1 o" S  q
ps：DecryptLogin库为大佬皮卡丘写的一个很不错的模拟网站登陆库，在此引用一下，因为单行爬虫原因不支持账号密码登陆，我将大佬写的二维码登陆使用过来了。再次感谢大佬开源
在此放出文档地址
# m1 @% m3 [5 R" i% r3 V, n7 DDecryptLogin库中文文档：https://httpsgithubcomcharlespikachudecryptlogin.readthedocs.io/zh/latest/
6 K% P6 r, f  i& z% G
特点：
将DecryptLogin库中二维码继承到此库（非二次开发）
支持QQ群、QQ空间、QQ安全中心、淘宝、京东和斗鱼登陆（大佬登陆库中所有的二维码登陆）
保存session.pkl信息到本地方便下次登陆运行
+ H! P0 T3 B3 U9 t8 K# B/ M
' v, ~/ z8 |& y5 e8 B缺点：
session.pkl登陆信息过时无法自动删除。
导致下次登陆疑似cookie无法正常登陆。
' O0 R) o& B. J" J
:return session

. ?. p* V! M2 N" brequest.parse(
  ?5 t& W( T% z4 O6 n        # 臭不要脸的推广一下我的店铺
        url="https://shop574805287.taobao.com/",
& v6 G2 U: F7 j  Y+ C6 l/ q  d        login="taobao"
2 o1 b4 G( u' t).run()
6 w: M; y& l# a8 z! T* y' i% E# return text

1 m$ r: l0 Q8 a' q( y4 f8 r3 T第三种玩法：爬取网站信息
/ A! Q/ F9 k+ M爬虫库自然少不了爬虫的过程

特点：
: }9 O- u6 R. T3 @支持re库，xpath解析以及bs4选择器。
爬取方法为字典格式。单方面输出。
字典键为保存的字段名称。
2 M: V' z9 B, q$ ?! M. q# H字典值为列表格式：第一个参数为选择器，第二个参数为转换类型。第一个参数必填，第二个参数默认str类型。
" x1 Y( \  i# G7 A4 k1 O4 T' ?  V  k
缺点：暂无（等待小伙伴们发现）
$ ^5 S) |+ j* k5 W( m' e! E6 \
：return reptile_results

9 }) F; k$ n; wrequest.parse(
# e$ Z; t; z' ]! i2 J  I' f1 D& \        url='https://www.douban.com/group/explore',
- |, [) h" F! p* L# A/ m; A2 q        # 字符串格式,选择器方法。
/ V! s  C# \+ n# k    Parsing = 'xpath',
2 d# L2 ?9 r& t1 Y3 Q& [    # 字典格式,参数如上。
    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
7 R  s7 ?; `6 Z# m/ }        }
  O- B; b0 f7 S; X3 _4 \7 p2 a).run()
8 N% l+ r8 }* [, A5 G# return reptile_results（list）

8 n4 W0 G$ t# N' u. s9 J第四种玩法：自由保存信息
8 A: [' s$ j( I8 g  f目前版本支持保存txt、csv、json以及pkl四大主流文件。日后版本更新将发布更为全面的保存方法。
& y2 S  A+ i! |: g$ Y* o" b
特点：
写入文件均为数据格式传入文件。
且输入格式规范方便阅读and省事。

缺点：
1 r& C* H4 T3 k/ q保存格式仅四种，
( D7 X2 d/ A7 N* A) N. q% Z不方便用户之后读写操作。

8 a9 \% c/ P0 z( y, g：return file

request.parse(
        url='https://www.douban.com/group/explore',
6 ?; m. h4 l6 [0 P    Parsing = 'xpath',
    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
; B6 J2 z- [! b9 e9 P6 E7 h" E# F  J+ y        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
    # 字符串格式,具体保存位置填写
# S+ y: T! r5 m1 N! N) y5 r3 ?, D    write='result.pkl'
" L: H. i0 l7 P( q7 ?).run()
# return file
; R6 a: V& S: u
- |) X3 U9 m  N: @; C( r2 ?( ?第五种玩法：读取下一页 url 地址继续爬虫
) s6 h$ w4 n& P! ~- h$ {这也是每个人都担心的问题，仅仅一行代码怎么可能翻页爬虫。这还真能做到哦~

0 v% X1 ^' P; I1 z特点：
继承之前的Parsing参数选择器选择方法。
& p6 `2 S) g1 w, x  S2 p/ C' q2 l在这里可读取到解析后的下一页 url 网址。
方可继续进行爬虫处理。方便用户使用。
$ N+ X) D; Y- Z& }2 P1 q. n
缺点：
& ]# Y' N% R  D若爬虫时下一页 url 地址改变，便结束爬虫。
只能爬取所给 url 地址中的信息。
无法进行某一界面的多个网页爬取返回。
+ Z+ K% n* w) O+ J* ?( m5 W造成访问页面单一流失。
% Z9 Z; S0 ^0 A+ h, u5 x7 r6 U4 N& o
, R& \* i4 [1 v. {& M6 ]* a：return None
* q2 E) k9 R, K$ R# s
request.parse(
        url='https://www.douban.com/group/explore',
8 \9 C; Z( I( @# E1 S& H    Parsing = 'xpath',
8 O- x/ U1 I6 b, M    label = {
" ]7 H$ E' }" A. `7 ^8 Q        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
. R5 _+ p/ ]  u" D6 K        },
    write='result.pkl',
    # 字符串格式,根据Parsing方法继续请求下一页a中href
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
; J0 S. O$ A! }. O0 j3 M).run()
# A& I% T& }2 Z- t5 T+ M6 |# return None

) m5 |* b+ }; B4 t+ I9 U  c2 r第六种玩法：爬虫网页保存
% s' B5 D* M. ~4 {" n" T听说过爬虫断续重连的朋友应该懂得这是个什么神仙操作。每次爬虫运行期间好好的，睡一觉醒来发现代码报错了。。。这就是个很难受的事，还不知道之前爬取到哪一页了，只能重新爬虫了啊！

特点：
+ l0 k% k' a8 ^1 a4 m持续输出断续笔记。
" U2 I2 a4 x% {4 @& ~  ^, Q将此次爬虫的 url 地址保存到一个文本文档内部。
下次读取文本文档即可快速进行直接断掉的爬虫 url 地址继续爬取所需。
+ {5 J" w$ ^7 G
  E0 P5 C/ l: Y+ q" v$ n! a9 A缺点：
& {  a6 Q/ t7 y: D8 r6 y读取内容不单一。
5 k* Q" [& l3 {0 ]' N) d; V导致下次爬虫无法正确读取上次爬虫留下的痕迹。
. r6 U* A2 j! G
; _% ?: Q# P7 m, I：return url_file

request.parse(
    url='https://www.douban.com/group/explore',
    type_url='text',
1 q" {: Y. k2 Y4 W' X% R  ]# p    #login='taobao',
    Parsing = 'xpath',
    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
, [+ W, S' ~0 c) ]        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
% `- c+ v; ^( ]4 Q* A        },
    write='result.pkl',
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    # 第一个参数为是否需要断续笔记。
4 D- t8 j1 C" y6 h    # 第二个参数为断续笔记保存位置。
    page=[True,'url_page.txt']
).run()
- Y* X5 o6 Y$ b0 ?2 f0 M: R# return url_file

( h# B# U: v" V5 P第七种玩法：简单数据清洗
数据拿下后，直接保存到本地有些大佬可能觉得很辣鸡，连清洗都不清洗就存入本地了？那得拿到多少废数据脏数据。那么接下来介绍一下清洗参数。

1 F9 L8 K" i9 H/ E& A" ?; Q特点：
( Z6 T( {. N, v6 N4 h' s# S; F本人曾写过一个底层数据清洗。
" \1 r# b( ?! _( |# D5 I7 A能将列表格式数据进行归分清洗。
5 F. x) e' p" G; v% X主要内容请参考另一篇文章
如下连接：数据清洗

( t6 D3 T0 f0 R1 T) Y  q3 z缺点：
* d: R; _& `& c) ?3 z. ?/ _数据清洗格式简单。
数据清洗内容单一。
无法完全做到绝对清洗。
( y9 f( S0 Z' L有待改善。

1 \8 S9 H4 N' F1 s9 V' D：return keyword_list, value_list

request.parse(
    url='https://www.douban.com/group/explore',
    Parsing = 'xpath',
; a( {8 c, P# o# C; z8 i: ]" z    label = {
0 ?. t! V5 K) h0 K3 F: `  h5 N$ l* s1 ]: u        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
# e& {2 H& W: P0 q0 _    write='result.pkl',
2 j0 [9 R! ]+ u) @- `9 P* E- O    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    page=[True,'url_page.txt'],
    # bool类型,默认不清洗
    clean=True
) Y. K3 z3 P# n. `6 i).run()
, @  J. }9 K; T# t
第八种玩法：爬虫存入数据库
9 E& n' ]: }$ i4 @存到txt、存到csv、存到json、存到pkl，那也太low了吧。现在流行的数据库用不了么？那是不可能的。。

! g( L9 T- s. E7 R. r7 ~: L特点：
4 S( m" D$ S; X: b! W' t- b' w9 y9 }信息存入MySQL数据库。
$ A! y9 F* G0 R% U! a可连接docker远程数据库。
数据库的库名可以不存在。
数据库的表名可以不存在。
根据之前传入字典键与值参数判断表类型。
自由建立数据表传入信息。
) ~7 y8 P3 b; ^( H) Z: l
缺点：
仅支持MySQL数据库。
& o# C. m$ @7 \, `# R
：return SQL

request.parse(
5 f' u8 P5 O( O! [    url='https://www.douban.com/group/explore',
    Parsing = 'xpath',
    label = {
- y" E! p+ J* O        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
6 @) b! q; J& d+ ^6 i        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
5 S  U8 n: @1 {+ q& t6 ^; k7 Q  f3 p        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
; ^6 ]* m  d0 N( S' i- D2 m( P        },
    write='result.pkl',
3 Y6 L/ r5 j3 i0 w1 `    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    page=[True,'url_page.txt'],
    clean=True,
    # 字典格式,
& e- \5 T7 O/ I' `; a1 G6 ~    # host可有可无,默认localhost
: }. {9 i3 q$ t    # post可有可无,默认3306
    # user可有可无,默认root
    # password必要参数,数据库连接密码
    # db必要参数,数据库即将存入的库名
    # table必要参数,数据库即将存入的表名
    write_SQL={
        'host':'localhost',
7 }  @4 [! X' ]2 z8 B- m; q$ x        'post':'3306',
        'user':'root',
: ^) ^) F: f9 F+ E+ s3 ?" A/ S        'password':'123456',
        'db':'example',
* w; g' V1 ^, `1 I# O9 t6 @6 Y        'table':'example'
5 e/ A$ _% w" T$ p' e1 `8 ?  n        }
    ).run()
% Z% B! I6 [) U/ ?/ A/ p
8 C6 F3 P  M1 m- c" u9 I0 F0 Z第九种玩法：重新启动爬虫
爬虫最让人厌烦的就是被一个不痛不痒的错误信息给终止爬虫了，比如意外的远程断开链接等低级非代码错误，报错之后还得重新启动断续爬虫，就显得很麻烦。我做了一期爬虫程序异常报错后重新启动爬虫，多次报错结束程序。

特点：
. T7 k8 o5 N9 |2 k/ S0 A检测报错重新启动爬虫
( T. J" n) A0 ~无需手动处理错误信息
$ \4 M. p. s$ m# |. u  \4 r2 k
缺点：
无法收集子线程错误。
+ V- ^5 t/ Y3 W% B& j
/ V' A5 w! v) ~9 r9 q! H：return None
8 }8 H$ b, j: u; I+ j1 P( z
request.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
        type_url = "text",
        Parsing = 'xpath',
        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
2 g: \$ ^! P1 B( u            },
        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
3 B( A; A  {7 X6 V$ P, y, M4 ?        # texting 参数为是否启用连续爬虫
8 _0 o% h% @; c- j! L1 S8 m6 z& R        # 爬虫程序异常报错后重新启动爬虫
        texting=True,
$ _  r4 a3 R" a3 D. ]: [        ###
- ~8 l* D6 h& o) j        write_SQL={
$ P$ V& R! y/ q  g            'host':'localhost',
! u8 q5 ~& |) R: Q& `9 E$ D            'post':'3306',
8 k2 g" B$ a  g$ ^5 x1 s' ~            'user':'root',
            'password':'123456',
0 u# O8 J- u* G" Q7 v7 [            'db':'example',
            'table':'example'
5 L7 ^( I# Z9 k% R  W* M/ r* K            }
).run()

第十种玩法：多线程爬虫
4 \7 ]/ J0 e% p) |9 B" q/ \特点：
( @. g5 ]8 p% t/ v: n7 J( @爬虫速度加快，
. `% F) T# `) e1 D& V: b, _更好的利用了线程。

6 N1 P9 F! w* w缺点：暂无

：return None
& S& j- z0 b9 X3 _
9 t: x& O4 y# ?request.parse(
7 I, d7 d3 i3 F6 B3 j/ v: R- X" O/ N        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
        type_url = "text",
" i# {: o0 [3 H6 S0 x' `        Parsing = 'xpath',
# E) I7 t; O4 K1 @4 i        label = {
1 U0 r6 m7 }# s+ P& v9 d. d            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
2 E5 O/ s% u6 T* I2 x1 v. y            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
7 e# }; w! }, Z2 @: t# U        page=[True,"now_url.txt"],
  ^, K5 A" X: w7 e( c1 ?4 H        #clean=True,
* m+ B: ?9 {. w; Q6 \- K  T+ S% h        texting=True,
        # status="threads" 启用多线程爬虫
0 e2 ]# s9 y6 H7 c  T        # Thread_num 为线程数目,默认为1 单线程
        status="threads",
        Thread_num=3,
3 [  b5 u! t# I4 z        ###
        write_SQL={
            'host':'localhost',
; g" c1 I. B4 E& r0 F9 [7 P/ @, v            'post':'3306',
            'user':'root',
            'password':'123456',
1 l6 D" D8 E6 N            'db':'example',
' b  l% K5 x5 f+ Z% ]            'table':'example'
            }
# V6 y# E$ B; Q).run()
7 m- y! M( `- N, k, Q) O
第十一种玩法：多进程爬虫
& F. {& ?+ L+ Q9 V; Z# {% \特点：
爬虫速度加快，
更好的利用了进程。
& x! C4 z$ G' I8 G+ k7 Z
9 k) l. {) T! G1 `缺点：暂无

：return None
/ e7 o1 x( }: m( j& s
from simple_crawl import request
: K: v  L( I! H1 }0 H6 i4 e% Zrequest.parse(
( @' a5 N" G6 c1 X  k" q$ _        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
        type_url = "text",
        Parsing = 'xpath',
        label = {
2 D" W3 M$ }* h7 W9 A" ]            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
' G6 D9 S, K! D. ?1 F            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
' I0 r8 x. k: K4 Y            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
% T# n- ?/ }% O/ E1 ]7 o- D        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
4 w8 x  e' M* k& X2 {        page=[True,"now_url.txt"],
        #clean=True,
' c9 {8 q' g# C0 ]* J: D        texting=True,
% p! [9 z3 B! j0 v* u0 U) ]        # status="multiprocessing" 启用多进程爬虫
, k$ V: x. s# _$ M$ k        # cpu_count 为启动代码核心数,默认为系统核数一半
) ^9 O" _: P! H$ p- C1 |        status="multiprocessing",
' |$ A2 }9 y8 N        cpu_count=2,
        ###
        write_SQL={
            'host':'localhost',
4 b* x3 A+ ~( f3 s9 {4 j            'post':'3306',
            'user':'root',
            'password':'123456',
# i/ W1 B% v( D2 R            'db':'example',
1 E; u7 Q& s0 O8 B            'table':'example'
1 H0 H  z- F$ }2 H            }
).run()

第十二种玩法：异步多线程爬虫
特点：
爬虫速度加快，
异步使得爬虫无等待时间，
同时使用多线程速度明显加快。

) I1 \. V. O) d: K! f! a缺点：暂无

：return None
' U; p9 Q( B( x  ~
5 C# Z6 M2 s8 R0 Q% ~% @from simple_crawl import request
request.parse(
& _( H% w3 }: T9 ~3 d        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
        type_url = "text",
        Parsing = 'xpath',
5 k/ R, p& l8 F0 Q7 d. Q7 q9 W        label = {
2 J( U, p% l8 [& A8 ~) }            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
* L5 e' ^) n/ d            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
' d( Z1 R5 W( ^6 R" R: U            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
% c7 C: R# ^7 G6 ?: K; ^            },
        write='result.txt',
! g  K, X# Y' H        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
7 K0 p7 w; t6 c( O, [        page=[True,"now_url.txt"],
" }) o5 J2 g# H2 Z* |        #clean=True,
        texting=True,
        # sem 参数为异步引擎数目,默认为5
+ y# i5 L; O% |  ^6 F8 R        # 其他参数同上
        status="aiohttp",
9 i1 }& d. x+ w& v1 a        Thread_num=3,
3 C/ U- Q, U+ r0 a# f+ N1 ]$ Z        sem=5,
        ###
" E$ h2 w  i' L; @( c        write_SQL={
            'host':'localhost',
            'post':'3306',
            'user':'root',
2 D, r" n5 ]7 C( R' Y2 h* x            'password':'123456',
            'db':'example',
- O1 _: F  v; ~$ }& m8 p            'table':'example'
            }
).run()

第十三种玩法：异步多进程爬虫
特点：
8 w( d# [  P( F8 q爬虫速度加快，
异步使得爬虫无等待时间，
同时使用多进程速度明显加快。

缺点：暂无

：return None

& R/ x( e$ d; q5 Q7 G6 B- x$ A5 efrom simple_crawl import request
request.parse(
2 K& w* F0 K  s  I( V        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
2 |0 Y9 Z- j) U1 G- A1 {0 f        #login="taobao",
        type_url = "text",
) f6 C- c0 g% [7 l6 r3 D        Parsing = 'xpath',
& d- v; r6 h7 U" b% ^* E2 T- _$ X! F        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
. U$ W% ~' R( E+ a6 D  {            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
" C0 V# a) D& L' t0 J' o6 C: O& j3 i            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
' w! C3 H4 T+ e$ ~: k& c            },
        write='result.txt',
( v8 w$ \' ?, C7 T        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
* v/ H& ]5 X2 J2 A+ `  b        page=[True,"now_url.txt"],
        #clean=True,
! P! R8 B4 N4 }1 [        texting=True,
8 y; A2 l0 q. g' _3 ]/ {        # 参数如上
        status="between",
. S4 {4 L" ^2 ?        cpu_count=1,
        sem=5,
9 s: U4 y2 T* l2 ?$ m        ###
" U2 F. f" Q$ A8 l: a- H# }( p9 z  j& q; I        write_SQL={
# t" J$ f6 \  j  I& P            'host':'localhost',
1 N; U( m$ K2 I+ K5 Y            'post':'3306',
8 [& U1 m2 h$ t0 l            'user':'root',
            'password':'123456',
            'db':'example',
            'table':'example'
- a. w" t, O( R8 X            }
).run()
+ c6 R0 a( G" ^: M# Z
; ^: }7 G/ `+ L; Z
功能介绍完毕🤞
" P8 p% J  a" R( j& O" ^4 z* O最后还是希望你们能给我点一波小小的关注。
奉上自己诚挚的爱心💖
————————————————
" [. e; v% d, B$ L$ s& D; S版权声明：本文为CSDN博主「꧁༺北海以北的等待༻꧂」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_45414559/article/details/106005684
( o/ G2 v+ O$ ]; f+ X" }

738391227

66666666666666666666666666666
7 ]1 ^* N1 `6 ?8 B4 I2 H7 b/ ]