Python爬虫仅需一行代码----crawl第三方库

zhangtt123

仅需一行代码写爬虫–simple_crawl
simple_crawl
仅需一行代码即可达到爬虫效果
项目地址(欢迎star):https://github.com/Amiee-well/crawl
使用方法
9 I# S% c+ ~( R8 Y" wpip install simple_crawl

  l8 Z" S' O% q### 以下源代码为简单介绍,详细功能介绍再源代码之下
/ P" d- k8 v* t5 I( V9 R. yfrom simple_crawl import request
+ P9 l9 @# a; h2 _; O! }. _request.parse(
. R2 G" x0 q( [$ d        # status 参数为运行状态,支持单线程多线程多进程协程以及联合
        status="aiohttp",
        # url 参数为爬虫网址,单线程状态为字符串格式,特殊状态为列表格式
7 g4 C7 [$ S6 Z$ j- e( k        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        # login 参数为获取登陆信息,如淘宝等网址需要登陆信息
    #login="taobao",
( S; w* U8 V2 N8 w0 B- O+ i    # type_url 参数为返回源代码格式,支持text和json,默认返回text
    type_url = "text",
. N+ X, O* `9 x+ h& g2 C7 h    # Parsing 参数为解析方法,支持re、xpath和beautifulsoup
) ?3 @7 u% S; f3 _6 s    Parsing = 'xpath',
/ I/ g" l" U' i) J" n; d    # label 参数为爬虫解析过程,字典格式,详情见下方
    label = {
7 p1 ?) r- C' P0 E7 [2 @            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
6 T6 k) \2 @) k% Q; H            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
. x" e& e1 K8 l5 I" P1 }            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
. h2 b/ l; k5 P! ~' W5 z     },
! H, Q2 }% p9 w* r0 t  N# ~     # write 参数为爬虫结果保存,支持txt、csv、pkl、json,注:特殊状态爬虫信息容易混乱
$ `1 K" ~4 j- l$ t1 u( h6 o3 t     write='result.txt',
     # next_url 参数为下一页爬虫地址,@必须为href,仅支持单线程爬虫
+ r- x6 }) U3 {4 @1 s1 S  n" R9 W     next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
' _* v4 k+ e" V0 }4 S5 N     # page 参数为断续笔记,第一个参数是否启用笔记,第二个参数选填默认page.txt,仅支持单线程爬虫
     page=[True,"now_url.txt"],
     # clean 参数为是否进行数据清洗,防止大量爬虫收集无用信息
( v" D. g) c& ]- K1 X; c. \     #clean=True,
     # texting 参数为是否选择连续爬虫,避免爬虫过程中出现非代码问题报错结束爬虫程序
     texting=True,
0 }: f9 ]/ C! y+ {     # Thread_num 为多线程数,默认为1单线程,支持多线程状态和异步状态
  R8 B0 l) M5 m+ f  d8 g     Thread_num=3,
     # cpu_count 为多进程数,默认为1单进程,支持多进程状态和联合状态
     cpu_count=1,
     # sem 为异步控制数,默认为5同时启动,支持异步状态和联合状态
     sem=5,
     # write_SQL 为是否写入数据库,默认否
     # host 参数默认localhost
     # post 参数默认3306
     # user 参数默认root
     # password 参数必填,必须正确
1 u. V- |3 t1 @" P+ F     # db 参数为即将存入的数据库名,若不存在自动创建
     # table 参数为即将存入的数据表名,若不存在自动创建
     write_SQL={
; K7 _2 B/ S0 g/ t; [: |         'host':'localhost',
         'post':'3306',
         'user':'root',
         'password':'123456',
( x( v! j1 |$ H         'db':'example',
         'table':'example'
  ]( m$ `% r% y8 y      }
8 J) j8 w& V6 v4 }3 E* \).run()
. M2 a# Q9 `5 P3 w- u' k) u1 ~
& v9 }3 E5 I9 J; `2 o, `9 W介绍一下crawl参数设置：

'''
$ I( G0 v5 g2 K: Z" H单行代码爬虫程序执行
:param status:启用爬虫类型,支持普通爬虫、多进程爬虫、多线程爬虫、异步爬虫、异步多进程爬虫,参数请参考文档
:param url:即将请求的url地址,仅支持get请求
:param type_url:请求url后返回格式,支持text和json格式返回
:param Thread_num:即将启动多线程个数,默认为1单线程
:param sem:协程信号量,控制协程数,防止爬的过快,默认为5
4 d5 E, v5 ?* l& ?8 u:param cpu_count:运行爬虫使用多进程cpu核数,默认为系统核数一半
:param login:模拟网站登陆,保存登陆信息
:param Parsing:爬虫方式,支持re、xpath以及bs4方法
:param texting:是否启用连续爬虫,爬虫程序异常报错后重新启动爬虫,
                       多次报错结束程序,默认否
:param label:选择器内容,字典格式保存,
                     字典值为列表格式,第一个参数为选择器,第二个参数为转换类型
                     第一个参数必填,第二个参数默认str类型
& B; ?" t& J- \4 w; ]:param write:是否写入文件,支持txt格式、csv格式、json格式以及pkl格式,默认否
:param next_url:是否跨页爬虫,选择器内容使爬虫继续翻页爬虫
:param page:是否选择断续笔记接手下次爬虫处理,默认否
; K* d& T/ c0 O$ \0 l8 @:param clean:是否进行简单类型数据清洗,默认否
& N$ G* x- `7 J7 j; l! k! H1 ^:param write_sql:是否写入数据库,默认否
" Y# @% q3 T* i. O( y                         'host'默认为'localhost','post'默认'3306','user'默认'root',
                         'password':'密码','db':'数据库','table':'数据表',
                         检测库是否存在,若不存在则创建,若存在则直接插入,
                         检测表是否存在,若不存在则创建,若存在则直接插入
) j, N$ y, Z! Y) W2 R/ H2 T:return True
8 O' ~; O, c6 t/ C3 X" Q+ G'''
介绍玩法
- O% \' x0 Y3 ]( J( ^8 G接下来介绍的均为调用第三方库的情况下运行：

  T2 e. \% X* }( }7 Dfrom simple_crawl import request
' c& c: |- L( Z第一种玩法：输出源代码
, v. ^) r* w' n2 V" e调用requests库进行源代码请求。

2 G( x% Y8 V: k! c特点：
4 w, e7 L+ u( Z) ~! e0 O7 k请求失败则调用ip池处理重新请求访问，
出现五次失败默认网址输入错误。
支持text以及json字符串返回。默认text。
  y" S- c: x5 `$ K& ~, ]
6 d8 u4 T9 A7 h( q3 ]1 o& W缺点：
暂时只能进行get请求，不支持post访问
8 L3 i/ I+ R8 [
: z& P; \5 g! W4 y：return text or json
# U' z5 s4 J" k7 D. _( v* M8 ]. @
2 T0 B  O! c1 A0 b0 W, {% R! i! Brequest.parse(
        url = "https://www.douban.com/group/explore",
$ b$ r* q( l5 F$ q3 J% v4 y        type_url = "text"
1 x2 N4 J% W2 b0 }9 r( X; D).run()
# return text

% G* L9 S; M& K) E% \( i# z第二种玩法：模拟网站登陆并保存信息
调用DecryptLogin库请求登陆访问。

. M! n; r+ k' @" a- Ups：DecryptLogin库为大佬皮卡丘写的一个很不错的模拟网站登陆库，在此引用一下，因为单行爬虫原因不支持账号密码登陆，我将大佬写的二维码登陆使用过来了。再次感谢大佬开源
在此放出文档地址
% P- s2 l# ^/ Z, w3 G& W5 rDecryptLogin库中文文档：https://httpsgithubcomcharlespikachudecryptlogin.readthedocs.io/zh/latest/
2 C, u) {8 P. v8 i' v) Y. M
特点：
+ w/ [: z  ^8 L8 d将DecryptLogin库中二维码继承到此库（非二次开发）
& M- d$ V1 m* ]' w" h支持QQ群、QQ空间、QQ安全中心、淘宝、京东和斗鱼登陆（大佬登陆库中所有的二维码登陆）
保存session.pkl信息到本地方便下次登陆运行
9 b; t: e& i5 H' I" e
+ }$ I4 M& X/ d! e* z. b" F缺点：
  i4 @$ n; N$ i! O( ?; p8 N8 vsession.pkl登陆信息过时无法自动删除。
导致下次登陆疑似cookie无法正常登陆。

:return session
! F8 d' Q, ~( p/ \$ U2 j3 S
" H, @3 _! i: C" @: b  v6 prequest.parse(
+ g5 ?5 k. W$ b  X- b. g% |$ g        # 臭不要脸的推广一下我的店铺
/ J  a& T8 c+ e' Y8 ~; I        url="https://shop574805287.taobao.com/",
+ K# f) d& T0 p; ^- C; B        login="taobao"
4 G3 _5 f1 m, Y! F  ?).run()
0 V6 B+ z. K2 Z' J* t# return text

第三种玩法：爬取网站信息
: ?! c- w4 W* ^- x: k7 ?爬虫库自然少不了爬虫的过程
' _; l) [2 x! B( i. Z
特点：
/ H' J4 h7 o; j' w支持re库，xpath解析以及bs4选择器。
  t1 U! P! K/ u8 p. Y2 Z. r爬取方法为字典格式。单方面输出。
& }9 \) c% b! n) i) a, I* j' }字典键为保存的字段名称。
2 O+ r; t8 F6 f: I, C. q/ ^  A0 B字典值为列表格式：第一个参数为选择器，第二个参数为转换类型。第一个参数必填，第二个参数默认str类型。
8 W4 Y6 |+ z2 m9 N: K7 I" S/ J2 o
: W8 y9 i/ o% f缺点：暂无（等待小伙伴们发现）

; ?2 a* M& Y! H' {：return reptile_results

9 S1 l: B8 ?# L4 }/ B0 ~request.parse(
        url='https://www.douban.com/group/explore',
        # 字符串格式,选择器方法。
    Parsing = 'xpath',
    # 字典格式,参数如上。
- b4 D* t! ]7 z: V* M3 ~    label = {
: }3 X8 F3 {) |' l  t/ [        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
$ ~9 b' i2 s) K8 y) t( w5 {, o        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        }
; Z% b" X: u7 K* @7 Z).run()
) x( c7 \/ n. d9 s6 R! O# return reptile_results（list）
3 I; }" a/ r! _) d( p/ e. u- s
第四种玩法：自由保存信息
目前版本支持保存txt、csv、json以及pkl四大主流文件。日后版本更新将发布更为全面的保存方法。

特点：
写入文件均为数据格式传入文件。
. h9 t% C* B) O6 A4 q! ^( [且输入格式规范方便阅读and省事。

0 D( @( u% K6 F; h* X6 C缺点：
保存格式仅四种，
不方便用户之后读写操作。

：return file
" E& e+ y9 a' x" o
9 G; K: `+ s# D. b7 Orequest.parse(
        url='https://www.douban.com/group/explore',
# O. `: m$ K1 Y3 W2 r$ ]    Parsing = 'xpath',
( }8 Z. `  C( `1 w" z" H; e; t+ c$ H( L    label = {
& N7 H1 S: g1 Z( ^7 f; K* B! \        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
' B* m- \( x6 G) W8 G0 g( \        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
  c8 {; G* p% q6 C3 p$ Z4 k( i8 b        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
) Q, W; _9 d+ Q; Q/ y        },
) _! O/ d& v) e: X7 g    # 字符串格式,具体保存位置填写
    write='result.pkl'
; {& k6 r! {& g; a).run()
( G; a; z1 I- G" f' ^# return file

第五种玩法：读取下一页 url 地址继续爬虫
这也是每个人都担心的问题，仅仅一行代码怎么可能翻页爬虫。这还真能做到哦~
4 V. F% g$ ~. F" E+ a0 \! t; Y) K
. p6 ^) p- B; p0 J8 i2 p: l特点：
' f# `8 B0 l3 g* @# t7 V' u继承之前的Parsing参数选择器选择方法。
0 X5 N1 s* R0 Z5 x  V* M在这里可读取到解析后的下一页 url 网址。
方可继续进行爬虫处理。方便用户使用。

缺点：
若爬虫时下一页 url 地址改变，便结束爬虫。
' y, E* s; G1 }% ^/ S: d. @! r: T只能爬取所给 url 地址中的信息。
无法进行某一界面的多个网页爬取返回。
9 R* B8 ?5 x2 j造成访问页面单一流失。

8 n1 n8 M8 o: r( |：return None

$ Y4 o* Z( Y1 V1 u' f+ frequest.parse(
        url='https://www.douban.com/group/explore',
    Parsing = 'xpath',
    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
/ @, m0 S6 N9 _- w$ G3 w        },
; h+ P/ b! j. n: W    write='result.pkl',
    # 字符串格式,根据Parsing方法继续请求下一页a中href
1 M+ |! U5 n' v- v$ W; \4 O    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
).run()
# return None
( e+ `8 U2 @9 g9 M* Q# ~
9 S6 e/ W* T" @5 m3 u3 L4 E第六种玩法：爬虫网页保存
听说过爬虫断续重连的朋友应该懂得这是个什么神仙操作。每次爬虫运行期间好好的，睡一觉醒来发现代码报错了。。。这就是个很难受的事，还不知道之前爬取到哪一页了，只能重新爬虫了啊！
/ ^% W! \: q  o1 T* R3 V
$ @6 t4 Q, m* P: z8 z% ?7 N" F3 o特点：
持续输出断续笔记。
( u: w- r  |/ ]8 s, }9 g7 y  W将此次爬虫的 url 地址保存到一个文本文档内部。
7 G9 P$ N2 [: x9 F下次读取文本文档即可快速进行直接断掉的爬虫 url 地址继续爬取所需。

4 d8 p, |4 T# L1 U缺点：
读取内容不单一。
* p7 d8 A9 y/ R" \/ Z/ }) O. ^导致下次爬虫无法正确读取上次爬虫留下的痕迹。

  Z* `) P/ h2 y- i& n2 `：return url_file
1 p: ]- h2 G/ L% o% u2 r
6 ^( W0 }5 r4 ^* n6 Trequest.parse(
; P6 G: T! n* o% `1 f) ^6 Q    url='https://www.douban.com/group/explore',
    type_url='text',
2 b7 H, `: o, s    #login='taobao',
    Parsing = 'xpath',
    label = {
' K3 E  y- k  B) Q3 q+ G7 m8 }        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
! L6 Q* `2 e! B& L2 y        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
+ g4 }6 B2 Q7 s' r$ ^! ~: Z: ]& L        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
- T, G9 F  N( m: F/ c    write='result.pkl',
# E) O1 ?5 ~& l    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
/ u! P7 B- \4 C- L+ m    # 第一个参数为是否需要断续笔记。
; `6 l) B5 V$ N: o& L! A    # 第二个参数为断续笔记保存位置。
    page=[True,'url_page.txt']
$ {1 v9 @0 t) s).run()
# return url_file

1 Y! F1 X: i9 ?第七种玩法：简单数据清洗
数据拿下后，直接保存到本地有些大佬可能觉得很辣鸡，连清洗都不清洗就存入本地了？那得拿到多少废数据脏数据。那么接下来介绍一下清洗参数。

) S) Q% G; U1 H( Q9 d' h$ y特点：
本人曾写过一个底层数据清洗。
能将列表格式数据进行归分清洗。
6 W5 Y' x! b3 \7 [# ~主要内容请参考另一篇文章
% G2 Y- m( O" g7 k3 k# p' q& S如下连接：数据清洗
2 I. b8 r+ [+ V* x  G
! P. G% G1 ~3 l; e* M7 G* J缺点：
数据清洗格式简单。
数据清洗内容单一。
无法完全做到绝对清洗。
有待改善。

0 t9 W& p. Y: s+ J4 ^：return keyword_list, value_list

8 z1 }5 N+ z: Drequest.parse(
    url='https://www.douban.com/group/explore',
- T) D+ X9 S5 c# I! f. K    Parsing = 'xpath',
    label = {
  Z" _/ t7 F0 ]+ [, a        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
3 X: \7 x0 J  y1 s$ s0 ~2 x        },
    write='result.pkl',
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
1 P. z2 ]0 ~6 {! a    page=[True,'url_page.txt'],
2 v. y, i- G6 f  D9 J    # bool类型,默认不清洗
% g: b/ k- H% N    clean=True
).run()

第八种玩法：爬虫存入数据库
存到txt、存到csv、存到json、存到pkl，那也太low了吧。现在流行的数据库用不了么？那是不可能的。。
- s( u5 s1 ?+ `9 K# w, O5 g
特点：
信息存入MySQL数据库。
  P. I- |7 i' _7 i, s: O; m. `2 l8 V可连接docker远程数据库。
/ I4 W5 u" b; o0 Y8 M# v数据库的库名可以不存在。
/ n/ w& j2 ~  Q" @. c数据库的表名可以不存在。
根据之前传入字典键与值参数判断表类型。
自由建立数据表传入信息。

; D3 `3 Q4 L( M缺点：
+ m6 v, M* c! J/ n1 ~, V( H仅支持MySQL数据库。
( _) x% U6 X$ J# B
：return SQL
0 Y, y+ R$ N( [$ @/ D; X
4 v2 Y  |2 g' h& Mrequest.parse(
2 |; `! V5 n3 e# z, ]    url='https://www.douban.com/group/explore',
    Parsing = 'xpath',
7 J( ~/ b. W$ A3 n+ Y    label = {
$ _4 A/ C( X( m        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
& |1 f- }0 j0 v7 @( d6 \    write='result.pkl',
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    page=[True,'url_page.txt'],
  y, C# f( e4 w: h    clean=True,
    # 字典格式,
7 T, W5 b( g; }    # host可有可无,默认localhost
/ u( W0 n' |- M9 o0 z: z0 b' {) Q    # post可有可无,默认3306
    # user可有可无,默认root
    # password必要参数,数据库连接密码
    # db必要参数,数据库即将存入的库名
, F/ R3 ]5 j  N- P9 a& c    # table必要参数,数据库即将存入的表名
    write_SQL={
) g9 l( s( S' I' ^' O) A        'host':'localhost',
& T- g+ c0 Q3 ?' P/ E/ B        'post':'3306',
        'user':'root',
        'password':'123456',
        'db':'example',
, Y1 s, ]  ~% W# R4 x. v2 W, g        'table':'example'
6 R: z0 v! u' W2 Q) w2 t# W" j        }
6 ]$ ?/ s7 c) `5 R- B    ).run()
8 ]2 [/ l" @3 e5 |9 `
) @2 i) R7 `( F5 b# U第九种玩法：重新启动爬虫
爬虫最让人厌烦的就是被一个不痛不痒的错误信息给终止爬虫了，比如意外的远程断开链接等低级非代码错误，报错之后还得重新启动断续爬虫，就显得很麻烦。我做了一期爬虫程序异常报错后重新启动爬虫，多次报错结束程序。
0 s% d7 y. z' N9 n* h
特点：
/ b3 H- j7 V! B# B7 V6 m检测报错重新启动爬虫
无需手动处理错误信息
2 Y* d* f0 J% E5 O0 t" u9 d
$ e( ?, `# C) ?3 O3 M- ]& h# B" g缺点：
- _- K% Z: U" i5 Y! R! w& A无法收集子线程错误。
! {( Q- y9 B0 s
' ^5 E" V$ t9 |2 C  v7 Q：return None

request.parse(
6 I, V# @( A0 w+ u        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
$ g+ U  d0 D% H        #login="taobao",
) o0 R# S9 r. [2 e6 S        type_url = "text",
7 ]4 v6 C+ M) b& C/ g/ Q' k! m        Parsing = 'xpath',
        label = {
: V# l5 C, `/ i2 N4 M            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
  ]( @6 k1 B: F. a$ H: E            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
/ R9 |* B8 K* Y- L            },
: j, j; a. U9 E: p3 b2 _        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
        # texting 参数为是否启用连续爬虫
1 `; X6 n8 u$ ], U+ l        # 爬虫程序异常报错后重新启动爬虫
9 Z+ I- r% u- h$ }; t  x6 j        texting=True,
        ###
! q! O) z: u2 `  u        write_SQL={
            'host':'localhost',
            'post':'3306',
; `  i$ @# X6 p            'user':'root',
            'password':'123456',
7 I+ u0 ^* N5 G2 |            'db':'example',
" ^# n3 S- @( o3 F8 `! O- b" A            'table':'example'
            }
).run()
; |4 Q/ [7 r/ ]: T  k
第十种玩法：多线程爬虫
特点：
# x/ m* k, K6 D爬虫速度加快，
更好的利用了线程。
/ ?7 c' A+ Q% z& ]
缺点：暂无
! B; Y1 O6 M9 A' d% N4 O
：return None
! d& `7 f7 a2 k, ^0 m7 j
request.parse(
# I3 k1 o. z7 ]/ `$ R5 M        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
& }& E( _+ G! _2 A& y: o1 T  J: W' [( y        #login="taobao",
        type_url = "text",
5 ^! m7 E* E& ], ~        Parsing = 'xpath',
, z* {/ A% a/ I, U        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
# c) x* x$ p+ F, }  ]            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
5 O0 {- X, i6 R5 k& {9 Z            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
6 k* w+ Z: i/ P+ O. E            },
        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
        #clean=True,
        texting=True,
' D+ }0 Z9 T  ]4 t' H! r# W# \        # status="threads" 启用多线程爬虫
, Y  r* I! n6 g        # Thread_num 为线程数目,默认为1 单线程
( a2 Q9 W) k: ~" ~: w2 r        status="threads",
  ^% Z9 e2 O* I; {        Thread_num=3,
3 r3 j$ R1 U& J2 x        ###
        write_SQL={
            'host':'localhost',
            'post':'3306',
2 c" F2 v% q# K( z8 y/ V2 }            'user':'root',
            'password':'123456',
            'db':'example',
            'table':'example'
/ J, i( X4 `2 b4 {, T, |  F2 Z            }
).run()
5 z0 J6 c# M8 G" t) J
第十一种玩法：多进程爬虫
, X" [- o) Y' g特点：
爬虫速度加快，
7 l; z1 B( ~; R  j" K. {更好的利用了进程。
7 }# D( f' h* o5 n3 E/ f$ L$ M
4 k8 v/ k4 p% N/ ?3 a缺点：暂无
4 q+ W) ]) |+ b" p- U, d2 ^6 f7 ]
2 S3 U! \9 A- L：return None
" e0 H6 |! |% Q( e
from simple_crawl import request
request.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
' H# y) o$ N2 E0 \* C        #login="taobao",
        type_url = "text",
$ T" E  w1 a" @+ ]$ h7 z0 Y) K" r        Parsing = 'xpath',
        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
" }, ]' N' z8 p4 @4 y            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
        write='result.txt',
5 _4 e! f/ ]( Y; R# C        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
$ k) L; j( I/ k8 C" Q        page=[True,"now_url.txt"],
' h6 H) n: U$ J, W1 ?# `( P. I4 D        #clean=True,
        texting=True,
3 C. o( [1 |( Z2 @$ ?# n        # status="multiprocessing" 启用多进程爬虫
2 S) m2 }! y/ s  I" ]# ^) V        # cpu_count 为启动代码核心数,默认为系统核数一半
  @$ R+ p! p1 {- _+ L" a        status="multiprocessing",
  k" X: g' h3 I3 q7 r        cpu_count=2,
* d0 z# y  n7 x" R4 W/ P8 I        ###
0 N3 Q; u  ?/ p; v        write_SQL={
            'host':'localhost',
* f' T& R: t7 j( P! u/ l            'post':'3306',
            'user':'root',
            'password':'123456',
# n3 O0 C  n7 S3 w! n$ F  k2 [            'db':'example',
' r+ z) ?; _  J# j" b; m            'table':'example'
            }
5 b9 j$ `& _- F' A% W) t).run()
) d' d9 V4 w4 y  F
, ~* T) M, e( X6 w, m7 |) N第十二种玩法：异步多线程爬虫
6 l1 c/ a6 T0 [5 @特点：
爬虫速度加快，
5 p- P8 p) J/ @& f: a# g6 x3 g异步使得爬虫无等待时间，
- |( w4 B6 g1 {( M( j同时使用多线程速度明显加快。
+ k- h" A0 U+ g
8 v- }* y# O! Z缺点：暂无
9 A' z1 t5 h" t
：return None
. C4 n) x" N& Y6 D8 K$ j7 ]
from simple_crawl import request
3 u2 ^9 M( k. xrequest.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
5 _- x: C/ U" C; g        type_url = "text",
        Parsing = 'xpath',
" @9 x' d& B( O! Z( D2 H4 D; S        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
% i7 l% [  W+ d+ `1 u& c- ~            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
: H) {6 r6 _, y" w            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
- b, \: ]6 _9 I; D/ h9 W            },
( b; t3 ^6 v$ n/ K8 z3 p7 V        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
+ _- f; P; y# I! {        #clean=True,
        texting=True,
        # sem 参数为异步引擎数目,默认为5
        # 其他参数同上
9 P) J7 o! Q4 {        status="aiohttp",
/ F4 m3 i2 U3 [% L; `% c        Thread_num=3,
        sem=5,
        ###
- F2 S7 q; N7 x  p3 P; y6 Z* k4 }) s        write_SQL={
            'host':'localhost',
# j# F- r7 P2 ?8 P6 ^            'post':'3306',
            'user':'root',
            'password':'123456',
+ Z& b/ q7 S. _4 P            'db':'example',
            'table':'example'
0 p$ G6 l* U, T            }
).run()

' w2 H2 @1 O3 I* H9 i+ w- E第十三种玩法：异步多进程爬虫
. u! q- @0 u0 a4 w/ H( O特点：
  S9 S1 J3 z9 n/ T# ], a. p爬虫速度加快，
异步使得爬虫无等待时间，
% u: ?+ H2 V: r! u9 s/ T1 k7 i同时使用多进程速度明显加快。
2 I! @+ ?% I: r
缺点：暂无
1 X/ P$ n8 G2 H! I% \+ \( v
8 X+ N6 @7 E2 p2 l# E：return None

from simple_crawl import request
8 l1 A2 e& X+ z4 j+ Q. k3 lrequest.parse(
4 d# a$ \' I0 a% L. v( W- y        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
5 Z" U& B  X" A# ]0 R        type_url = "text",
        Parsing = 'xpath',
        label = {
: l3 i$ o; D9 v5 M2 }1 @            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
; Q! v% o/ U. H$ n( x            },
9 K  z, r! d8 j7 @; h        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
        #clean=True,
. z# O% e6 }4 `% H        texting=True,
        # 参数如上
        status="between",
        cpu_count=1,
6 ~  y$ v  v1 U) K, ~        sem=5,
        ###
        write_SQL={
! m. m' T' e0 r+ ~4 x            'host':'localhost',
$ Y( v: v- d! X/ V; x3 e            'post':'3306',
            'user':'root',
            'password':'123456',
            'db':'example',
            'table':'example'
            }
).run()


功能介绍完毕🤞
最后还是希望你们能给我点一波小小的关注。
$ L( M# U7 o/ B, x3 a奉上自己诚挚的爱心💖
7 h) k$ E+ _4 U0 M* _. v————————————————
版权声明：本文为CSDN博主「꧁༺北海以北的等待༻꧂」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
6 \2 I* f/ g$ A! h8 b原文链接：https://blog.csdn.net/qq_45414559/article/details/106005684
5 G" a3 J0 H3 `! B; ?

$ x: k: ^5 J/ G- E( ?1 K; ^

738391227

66666666666666666666666666666