Python爬虫仅需一行代码----crawl第三方库

zhangtt123

仅需一行代码写爬虫–simple_crawl
$ a) [. x- e' p" ]5 u# B9 Usimple_crawl
: O7 q( t( n! |1 D7 r) E  j仅需一行代码即可达到爬虫效果
5 R; M" `! x( J# I2 b( e$ Q项目地址(欢迎star):https://github.com/Amiee-well/crawl
0 d; k" q# U) F) {5 C; L: h使用方法
pip install simple_crawl

### 以下源代码为简单介绍,详细功能介绍再源代码之下
% h: i  Q! E4 `+ l, b0 \1 Z' xfrom simple_crawl import request
. U7 }5 h' ?7 m3 D1 x: G4 P( vrequest.parse(
        # status 参数为运行状态,支持单线程多线程多进程协程以及联合
) `, b* R4 k1 e) s$ r6 |/ k/ ^        status="aiohttp",
        # url 参数为爬虫网址,单线程状态为字符串格式,特殊状态为列表格式
4 F8 h6 R* O2 g2 r1 Q; W* `        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
8 Y& ]. z$ c: H        # login 参数为获取登陆信息,如淘宝等网址需要登陆信息
) P0 I* n( X# V! o% f: Z2 C" d    #login="taobao",
5 l1 l) w4 \' ]6 T4 Y    # type_url 参数为返回源代码格式,支持text和json,默认返回text
6 F  ]& P6 K2 [! h1 z0 M' V5 j    type_url = "text",
* z  v0 j* o$ ^( q+ q5 U+ ~: A    # Parsing 参数为解析方法,支持re、xpath和beautifulsoup
    Parsing = 'xpath',
    # label 参数为爬虫解析过程,字典格式,详情见下方
    label = {
% Q! q& Q) s$ @            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
' G: f) U8 e5 s+ Y! Q            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
     },
     # write 参数为爬虫结果保存,支持txt、csv、pkl、json,注:特殊状态爬虫信息容易混乱
     write='result.txt',
: g0 D4 L$ a  w1 w+ d2 P0 b) o6 k' K2 u     # next_url 参数为下一页爬虫地址,@必须为href,仅支持单线程爬虫
     next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
     # page 参数为断续笔记,第一个参数是否启用笔记,第二个参数选填默认page.txt,仅支持单线程爬虫
: q" n) z- Y2 _     page=[True,"now_url.txt"],
0 c. n) Q3 {  J: \& t     # clean 参数为是否进行数据清洗,防止大量爬虫收集无用信息
4 `$ B2 {- \+ G8 X     #clean=True,
. F3 Q8 f( [+ k     # texting 参数为是否选择连续爬虫,避免爬虫过程中出现非代码问题报错结束爬虫程序
     texting=True,
     # Thread_num 为多线程数,默认为1单线程,支持多线程状态和异步状态
3 Q* X  y4 B' K2 w3 i$ O! ^7 A     Thread_num=3,
$ }2 O1 C9 U6 E0 n$ V     # cpu_count 为多进程数,默认为1单进程,支持多进程状态和联合状态
     cpu_count=1,
     # sem 为异步控制数,默认为5同时启动,支持异步状态和联合状态
     sem=5,
' x- M+ R) x7 C6 ?" r     # write_SQL 为是否写入数据库,默认否
     # host 参数默认localhost
     # post 参数默认3306
$ U( |, T8 w1 V- s- k% {     # user 参数默认root
  O$ Q) N6 w4 c; t8 Z: F) u     # password 参数必填,必须正确
! O0 R" N# n" n: @     # db 参数为即将存入的数据库名,若不存在自动创建
! ~# y0 w5 E9 T     # table 参数为即将存入的数据表名,若不存在自动创建
     write_SQL={
) ?* \: L8 V8 d9 F         'host':'localhost',
         'post':'3306',
! M3 `9 T$ o$ X0 t; n  M         'user':'root',
         'password':'123456',
         'db':'example',
         'table':'example'
* u1 {7 W5 O$ _      }
).run()
$ o1 i  H8 O. c/ q) c
9 \- c8 n' @1 m' v! O) e介绍一下crawl参数设置：
& {  q' e, x% u( ~7 ^
2 M. Y, W9 v5 z  _, o8 m* Q8 W2 \'''
单行代码爬虫程序执行
' A, |; h) a4 T1 @:param status:启用爬虫类型,支持普通爬虫、多进程爬虫、多线程爬虫、异步爬虫、异步多进程爬虫,参数请参考文档
/ n& M: Y; @, H$ k. ~+ b:param url:即将请求的url地址,仅支持get请求
:param type_url:请求url后返回格式,支持text和json格式返回
: l/ [$ g- |8 E! N2 h3 C9 o. Q:param Thread_num:即将启动多线程个数,默认为1单线程
:param sem:协程信号量,控制协程数,防止爬的过快,默认为5
:param cpu_count:运行爬虫使用多进程cpu核数,默认为系统核数一半
:param login:模拟网站登陆,保存登陆信息
' ~5 t' s$ g1 [# V( m) n:param Parsing:爬虫方式,支持re、xpath以及bs4方法
:param texting:是否启用连续爬虫,爬虫程序异常报错后重新启动爬虫,
: t4 g3 A  T' F+ M7 V8 i' G                       多次报错结束程序,默认否
:param label:选择器内容,字典格式保存,
                     字典值为列表格式,第一个参数为选择器,第二个参数为转换类型
( ]% @+ {8 M1 V6 V                     第一个参数必填,第二个参数默认str类型
:param write:是否写入文件,支持txt格式、csv格式、json格式以及pkl格式,默认否
:param next_url:是否跨页爬虫,选择器内容使爬虫继续翻页爬虫
:param page:是否选择断续笔记接手下次爬虫处理,默认否
:param clean:是否进行简单类型数据清洗,默认否
! d$ C, ?+ W5 ^- w* E2 z:param write_sql:是否写入数据库,默认否
4 \- v+ u2 B: ?: B' X7 f                         'host'默认为'localhost','post'默认'3306','user'默认'root',
                         'password':'密码','db':'数据库','table':'数据表',
                         检测库是否存在,若不存在则创建,若存在则直接插入,
% j! k& p5 t( N! B8 l  G                         检测表是否存在,若不存在则创建,若存在则直接插入
:return True
6 W# }) n9 a3 G) `; B'''
介绍玩法
- d2 K7 X) W; S/ f接下来介绍的均为调用第三方库的情况下运行：
1 G# H( O. N" H  s
: d, i$ k! C) L' gfrom simple_crawl import request
第一种玩法：输出源代码
调用requests库进行源代码请求。
2 q) s& |6 v6 I: e) K( a
特点：
: \4 B3 _& N* w# r请求失败则调用ip池处理重新请求访问，
出现五次失败默认网址输入错误。
5 A& M6 x* l9 P: Z支持text以及json字符串返回。默认text。

  \' ]1 q4 a) u( D, |/ ]- j缺点：
% J" d  Z0 s% ^3 D2 \8 x/ _暂时只能进行get请求，不支持post访问
7 @* `8 k  E" P) y  e2 R4 S5 O
( ?! e8 \) b8 `, b6 M8 F：return text or json
  L, E# x; s5 s4 f3 @' u
" j! W! A6 @1 F4 xrequest.parse(
8 U0 _- ^; h. G' y/ z" K) M        url = "https://www.douban.com/group/explore",
        type_url = "text"
).run()
# return text
. r) l. G6 R2 k
第二种玩法：模拟网站登陆并保存信息
; d7 W1 v% t6 Q! f  j. A调用DecryptLogin库请求登陆访问。

ps：DecryptLogin库为大佬皮卡丘写的一个很不错的模拟网站登陆库，在此引用一下，因为单行爬虫原因不支持账号密码登陆，我将大佬写的二维码登陆使用过来了。再次感谢大佬开源
在此放出文档地址
8 f0 c2 r" V+ E" k, pDecryptLogin库中文文档：https://httpsgithubcomcharlespikachudecryptlogin.readthedocs.io/zh/latest/
$ z4 J% }. _8 n2 g( m
) S& w" K# X) G0 `' o, b特点：
将DecryptLogin库中二维码继承到此库（非二次开发）
& s* S7 L1 L/ t8 {( x2 _  }支持QQ群、QQ空间、QQ安全中心、淘宝、京东和斗鱼登陆（大佬登陆库中所有的二维码登陆）
保存session.pkl信息到本地方便下次登陆运行

0 @! g$ F" t* H) F% v8 n7 `4 L缺点：
session.pkl登陆信息过时无法自动删除。
导致下次登陆疑似cookie无法正常登陆。
+ j7 L2 a* O3 }! P
:return session
' Q! A$ }) X8 p
9 ^$ m3 b# n2 j1 M$ }request.parse(
$ l  ]' L$ v4 N) o. }        # 臭不要脸的推广一下我的店铺
3 u+ q& n& C: H        url="https://shop574805287.taobao.com/",
$ [! U4 j/ s# o6 y" b! y/ F        login="taobao"
).run()
# return text

" d% x' [7 }- @' q: d' R第三种玩法：爬取网站信息
" C; E# ~( a* {4 i3 n爬虫库自然少不了爬虫的过程

特点：
支持re库，xpath解析以及bs4选择器。
6 Z, K; d& K1 t7 Q爬取方法为字典格式。单方面输出。
字典键为保存的字段名称。
3 e0 V. [% q3 x字典值为列表格式：第一个参数为选择器，第二个参数为转换类型。第一个参数必填，第二个参数默认str类型。

缺点：暂无（等待小伙伴们发现）
9 x* w  c' e" z0 U# `
：return reptile_results

request.parse(
        url='https://www.douban.com/group/explore',
) L3 U- G! C6 J, G% R0 n        # 字符串格式,选择器方法。
    Parsing = 'xpath',
    # 字典格式,参数如上。
    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        }
).run()
3 }. C( B5 E/ n& k# return reptile_results（list）
, Z: u/ N* Z- {
第四种玩法：自由保存信息
目前版本支持保存txt、csv、json以及pkl四大主流文件。日后版本更新将发布更为全面的保存方法。

特点：
( [4 Y/ \* X' ]! Y3 l2 t写入文件均为数据格式传入文件。
, e0 D) w' J% C. U( m; g# w且输入格式规范方便阅读and省事。
$ h) p0 {6 J. ?& ^" d+ p2 l
' h4 s* M( C: m& z: ~/ @缺点：
保存格式仅四种，
! K1 c4 X) S% n# a2 O+ B; I不方便用户之后读写操作。
8 x+ M3 @% ]: t7 c( h3 w- \2 V5 z
：return file
$ [* C% u& S$ p
. X7 A. K: y" f/ W  H' n1 r! Urequest.parse(
        url='https://www.douban.com/group/explore',
    Parsing = 'xpath',
    label = {
0 z) r6 r! T" v9 q9 X7 V5 k2 R0 I        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
& u" n4 B! Y: ~, L% }3 m' ~: e  }; F        },
5 Z# e% _0 \6 E& b    # 字符串格式,具体保存位置填写
1 `" G( [6 J  p2 y; m- N; F    write='result.pkl'
& N7 G' K+ g1 m2 }).run()
# return file

第五种玩法：读取下一页 url 地址继续爬虫
! h1 }; {/ p8 t$ h( {3 D这也是每个人都担心的问题，仅仅一行代码怎么可能翻页爬虫。这还真能做到哦~

* C8 F' i) [4 Y" B: e: a特点：
1 c& C2 s$ g8 Q- N6 ^继承之前的Parsing参数选择器选择方法。
4 {: t5 h* M& N1 @7 A- m在这里可读取到解析后的下一页 url 网址。
方可继续进行爬虫处理。方便用户使用。

缺点：
8 d) a) v6 [) d3 v% R0 a若爬虫时下一页 url 地址改变，便结束爬虫。
* x+ y' S0 D8 A8 X' Y只能爬取所给 url 地址中的信息。
无法进行某一界面的多个网页爬取返回。
8 N1 \- J% ?3 I, Q9 P& ~7 B+ j9 S3 Q造成访问页面单一流失。

：return None

request.parse(
. C3 g  H' W: s6 R& G0 G$ i1 o/ c        url='https://www.douban.com/group/explore',
    Parsing = 'xpath',
    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
* t$ [0 I6 ]4 L: i, r, I        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
! ?6 ?1 n* W0 h/ {% W" t4 _        },
! S0 }8 J$ c+ H2 s    write='result.pkl',
    # 字符串格式,根据Parsing方法继续请求下一页a中href
+ }' y' u) b& P5 v    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
3 x! [* m6 Z% C).run()
# return None
6 E7 @* F. y6 u; L
第六种玩法：爬虫网页保存
听说过爬虫断续重连的朋友应该懂得这是个什么神仙操作。每次爬虫运行期间好好的，睡一觉醒来发现代码报错了。。。这就是个很难受的事，还不知道之前爬取到哪一页了，只能重新爬虫了啊！
  m, T; h, |( F' o; X
特点：
+ Y6 _3 {) T8 a# v5 r持续输出断续笔记。
1 x7 A# U8 Y+ R' M$ w将此次爬虫的 url 地址保存到一个文本文档内部。
6 A: n* g5 k" `% D  K下次读取文本文档即可快速进行直接断掉的爬虫 url 地址继续爬取所需。

) o: `: a0 G5 \; Z( f5 _缺点：
" `8 G. z2 j' L读取内容不单一。
导致下次爬虫无法正确读取上次爬虫留下的痕迹。
1 N3 y2 q# E/ o& V; r& U
: h2 R& N$ L" p; F$ d' Q' T; ~5 u：return url_file
, ]) s8 p: W/ ^' m
request.parse(
8 S- `# ]. g6 R4 d( r* c2 {, v* [! U    url='https://www.douban.com/group/explore',
3 a, g- q0 F3 }, m  z' f    type_url='text',
    #login='taobao',
    Parsing = 'xpath',
    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
4 N# @5 s# f9 y6 I* _7 t# `        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
. E$ A" A( S1 B1 m6 C* f, G4 \        },
# @( F. X, o# \' o) o( U    write='result.pkl',
( }- `' z4 m. K5 z( @1 F5 g    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
2 M6 z5 }4 N/ Q4 f! \7 A$ a    # 第一个参数为是否需要断续笔记。
! `2 Q" j& z# ~2 X: w1 F    # 第二个参数为断续笔记保存位置。
. w& \+ N& x' b* _$ n0 P; [6 o- H    page=[True,'url_page.txt']
, u( J, E- X; p6 h).run()
, m' C4 U7 w0 _0 g' g; ^9 f% m" C$ ]# return url_file
+ _* B2 y, [8 s/ G. d% V
第七种玩法：简单数据清洗
6 O# h& r" j! p4 F" w6 @6 E* G$ E6 b数据拿下后，直接保存到本地有些大佬可能觉得很辣鸡，连清洗都不清洗就存入本地了？那得拿到多少废数据脏数据。那么接下来介绍一下清洗参数。

特点：
  }" o9 v7 w$ M5 |* Y5 ?+ ~- z本人曾写过一个底层数据清洗。
1 C# Z6 w* w$ B: H! a# i' G% q能将列表格式数据进行归分清洗。
主要内容请参考另一篇文章
4 W: n/ D) I2 ^# I: e" ?4 b如下连接：数据清洗
6 S" Z/ M( D+ W3 a; l# Q
缺点：
1 U/ Q6 k0 I- n$ h1 J数据清洗格式简单。
3 j$ `$ d* d4 b3 [, p$ m. p数据清洗内容单一。
无法完全做到绝对清洗。
有待改善。
' H4 t4 ^  Y6 ]7 e# d5 h+ t
! P) j; l: B; T8 D/ t+ `：return keyword_list, value_list

$ f) o' F4 W3 H9 Xrequest.parse(
    url='https://www.douban.com/group/explore',
2 W, Q0 |; Q+ ]5 y% j    Parsing = 'xpath',
    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
  M. D9 E2 q+ |) Q5 M% i6 d        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
# I- f, s  u/ a6 I' l    write='result.pkl',
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
2 r9 u- \1 c8 K8 ?2 f    page=[True,'url_page.txt'],
2 f1 E( g4 @2 |3 e+ O6 g, x    # bool类型,默认不清洗
    clean=True
2 d- K, r6 F# N).run()

6 D) r4 J" T$ c. F第八种玩法：爬虫存入数据库
存到txt、存到csv、存到json、存到pkl，那也太low了吧。现在流行的数据库用不了么？那是不可能的。。

1 f# K- f& a; m. q1 Z$ Y0 A* Z特点：
信息存入MySQL数据库。
可连接docker远程数据库。
数据库的库名可以不存在。
! S: W* u$ a5 J+ N) H  _数据库的表名可以不存在。
根据之前传入字典键与值参数判断表类型。
自由建立数据表传入信息。
7 w, \1 C- |1 L4 B5 T
缺点：
0 p8 _: v4 B( Y: u) s; `仅支持MySQL数据库。
% B. U. l1 m; w5 g9 }: R; q
, s2 F2 c3 ^6 n9 u：return SQL
3 Y$ f1 T0 a4 |5 G0 U) Q
6 f) S: I: n+ `( h* P) f- b, Erequest.parse(
0 U: Y1 y. Q1 R% K    url='https://www.douban.com/group/explore',
- m* G7 q4 b% C" {; ]1 _4 `. r    Parsing = 'xpath',
( I% W  R/ s! O. H& ]/ f& L    label = {
% {, O9 p) k1 I4 s& u        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
) v+ L, q! q" B! f0 @    write='result.pkl',
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
; C1 T  \/ [2 X    page=[True,'url_page.txt'],
    clean=True,
2 w, S, o) \/ ^8 @3 Y    # 字典格式,
5 b! t9 H- u- H; l    # host可有可无,默认localhost
    # post可有可无,默认3306
/ `/ [# E" T7 B/ f4 _    # user可有可无,默认root
% `% `5 Y+ O" O; u% a    # password必要参数,数据库连接密码
9 i$ h& Y7 G# ]3 D  S% ]# }  H- i    # db必要参数,数据库即将存入的库名
% l9 w  r* X# d) x; W    # table必要参数,数据库即将存入的表名
* W6 x8 a6 ~& |! i9 Z8 }    write_SQL={
        'host':'localhost',
        'post':'3306',
; M, ]8 L: _8 s* {6 F        'user':'root',
        'password':'123456',
9 y1 z, _4 m# h  \        'db':'example',
        'table':'example'
        }
    ).run()
0 D  a9 I: g9 _& p# {3 ]  W
第九种玩法：重新启动爬虫
1 I$ p' I  A- g8 c  U$ S爬虫最让人厌烦的就是被一个不痛不痒的错误信息给终止爬虫了，比如意外的远程断开链接等低级非代码错误，报错之后还得重新启动断续爬虫，就显得很麻烦。我做了一期爬虫程序异常报错后重新启动爬虫，多次报错结束程序。
# W8 e( \. [1 G+ x4 c' Z6 {( A
特点：
检测报错重新启动爬虫
无需手动处理错误信息

: x) S& C9 V; S/ ~缺点：
7 J: J/ }  h& P. T" s6 j  v4 b. v6 ~4 z7 l无法收集子线程错误。
* E$ x# G, J1 a! r, r
：return None
( h1 ?  Z% ]( ^$ `( D
request.parse(
; I. S$ D( d5 ^0 e; Q  X        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
        type_url = "text",
        Parsing = 'xpath',
        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
( s" p+ K6 `3 C1 F! x            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
- H; e' o+ O/ [6 a' D# }$ \            },
        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
        # texting 参数为是否启用连续爬虫
% ]: p. V$ M- ^        # 爬虫程序异常报错后重新启动爬虫
        texting=True,
2 ]2 [. i% w; R' Q) Y  j/ s6 o        ###
        write_SQL={
            'host':'localhost',
& z% {" h0 o+ @8 J; a/ B# J            'post':'3306',
            'user':'root',
6 I0 R/ d9 t9 n+ T' t; @            'password':'123456',
            'db':'example',
( o& g8 l* `2 k3 J6 j4 J) F, l9 e            'table':'example'
            }
' d9 H: B2 o* c0 @# {$ o; o).run()
8 i3 @3 I5 M1 J& l$ |1 _# s" l1 r) E
1 m' j( h) a9 I$ _5 h第十种玩法：多线程爬虫
特点：
5 `2 L, w$ {( E9 I1 x5 r. `爬虫速度加快，
更好的利用了线程。

缺点：暂无

：return None

request.parse(
, Z) S8 h  M4 w2 N) x- _5 F  \' L) W        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
        type_url = "text",
" B. _3 |  S) X: N. ?* C* a8 B7 \$ T        Parsing = 'xpath',
        label = {
7 G0 z  B! j1 @5 w0 _            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
2 t! B  n( M' j1 I4 A            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
  M3 V1 |% Q9 M2 Y& C4 p            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
        write='result.txt',
! }' t% J" X  A$ C        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
3 K) p( M) l6 @        #clean=True,
5 H: L6 i/ Y' s6 t" C, e: P        texting=True,
1 e+ X5 M3 s+ H        # status="threads" 启用多线程爬虫
        # Thread_num 为线程数目,默认为1 单线程
        status="threads",
        Thread_num=3,
        ###
1 h- X( x8 t6 k* c; B/ s  O) ]" X        write_SQL={
8 Z) ^, m4 D# |: G4 A            'host':'localhost',
1 B0 B' P. d. }. B, ]% \            'post':'3306',
, T  e9 u( q+ L7 M9 o            'user':'root',
/ A1 z' q0 j; t" }; f0 F            'password':'123456',
            'db':'example',
1 ?, d) ^$ J* q9 y$ s7 U            'table':'example'
            }
).run()
& P* \4 W/ B% L7 O$ \
( S  F8 V8 A! `" S第十一种玩法：多进程爬虫
* G, @  I! m3 m$ M  ^4 H特点：
" Y$ B4 @# Q8 P' X$ R爬虫速度加快，
更好的利用了进程。

缺点：暂无

：return None
9 k, }4 C% J  N- s" e% v
from simple_crawl import request
) p* l# u4 x) m4 m. Rrequest.parse(
! D, l& s/ E( T        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
        type_url = "text",
        Parsing = 'xpath',
" h7 I) r% T/ _2 u, g: B% h  o6 W        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
; c, I1 ~/ Q7 Z% r            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
        write='result.txt',
9 m8 i+ Y& ~; w  B6 n% \        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
1 {/ a' a& ^) x/ J' m        page=[True,"now_url.txt"],
/ x  j0 O% o- K" q) Z' X8 L        #clean=True,
        texting=True,
        # status="multiprocessing" 启用多进程爬虫
        # cpu_count 为启动代码核心数,默认为系统核数一半
5 a& m# b- ]+ q. S        status="multiprocessing",
        cpu_count=2,
0 f' ^. u( ?% J% r/ D% K0 W+ ]' E        ###
        write_SQL={
" h9 {2 y+ B6 h# J9 W+ |- g            'host':'localhost',
; i* q- u, T$ b4 s- t5 \  u            'post':'3306',
            'user':'root',
- k) C, @! F/ }. G% l6 r3 ]            'password':'123456',
  {8 b0 h( n, C% e" K  A4 h6 e            'db':'example',
            'table':'example'
% }1 q1 H  w( X- r4 c            }
0 [" V4 y" r/ r4 r).run()
; w7 r6 ^2 }) d
第十二种玩法：异步多线程爬虫
特点：
爬虫速度加快，
9 V& M/ F  x6 g* s3 R异步使得爬虫无等待时间，
8 V* r9 I$ t7 }同时使用多线程速度明显加快。
) O8 ?4 S6 R* S4 w
/ K1 I% U. y; g- x" }# P缺点：暂无
0 r3 F3 z( k5 i! f5 e' b8 F. ^9 `
" Z7 d! S2 x9 u5 ?% y1 F; n：return None
% }- M( U6 S/ i( G% f  y- h
from simple_crawl import request
request.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
/ @4 a9 @) [. z( a: J! B" x+ x        type_url = "text",
$ e# M  R- Z& u  N, U        Parsing = 'xpath',
! ^/ G: x+ _6 J' q% T3 H1 W        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
+ e8 `' v( X& g! j$ ~; S/ Q            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
5 u* s% A% F  r$ |3 a            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
! ^7 x* |: a# O9 A( J* u        #clean=True,
        texting=True,
- ~) H& a7 k8 m+ b2 g& b' W; t        # sem 参数为异步引擎数目,默认为5
, b8 I" W/ R$ k        # 其他参数同上
        status="aiohttp",
: \% k3 [0 Q6 |. R7 A6 B" s        Thread_num=3,
        sem=5,
/ F) a2 _8 K% m. ]/ v2 x7 @        ###
# t* w2 u' ^% B9 H        write_SQL={
0 n9 U$ A/ X5 G0 w& ^3 l            'host':'localhost',
' ]+ a" F) Y3 G5 d6 s2 e- l            'post':'3306',
            'user':'root',
7 G$ O; u" x# o! c7 T% D8 S            'password':'123456',
            'db':'example',
            'table':'example'
' x5 H( V& p4 _  j. h            }
).run()

4 i" O/ i3 R' ], h* t3 W第十三种玩法：异步多进程爬虫
特点：
" E% n) U% b4 J' o1 F8 q' V爬虫速度加快，
异步使得爬虫无等待时间，
同时使用多进程速度明显加快。
! O# R6 H0 L' e0 x* Y- g! i) L% F
缺点：暂无

3 Y  A! ^( \) t0 Q$ f：return None

: A+ U/ p/ B1 T" \. bfrom simple_crawl import request
request.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
! {6 v; l8 ]0 k) a4 K  E! W        type_url = "text",
        Parsing = 'xpath',
" T& S% i) n1 X) u+ P+ z9 U        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
' b5 }: ~8 y" y1 j( X) ^            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
9 K8 Q6 b) [6 j% @& P+ D            },
! D* E$ x2 r6 q# b7 E. v' M5 B        write='result.txt',
5 k" n- r) ^# E5 Y* {        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
' l1 K$ v" o1 E( w! ^3 O        #clean=True,
        texting=True,
        # 参数如上
        status="between",
        cpu_count=1,
        sem=5,
5 ]2 z& M9 ?) H- K        ###
6 s7 z$ ^. V- M) m1 f        write_SQL={
$ p' _2 `6 H7 P5 @( w/ p7 t            'host':'localhost',
            'post':'3306',
6 j7 w# i* g/ r3 y            'user':'root',
: d* U: g1 K$ v& E3 t            'password':'123456',
8 a/ [6 q- R4 P# \            'db':'example',
' U' R' X. j$ w9 u            'table':'example'
- W' H: J" ~7 o/ H  ]) t5 k7 D5 y3 s            }
! L4 E5 s* u# X0 I! m4 x9 t) Z1 p).run()
4 ?7 Q" P2 b* @7 T6 u0 s

功能介绍完毕🤞
' g+ _, _3 s8 g! H& A0 Y6 l最后还是希望你们能给我点一波小小的关注。
奉上自己诚挚的爱心💖
) Y2 d7 _& ^- O9 G) }3 o————————————————
; s+ Y! Q* E1 c5 N% W) [版权声明：本文为CSDN博主「꧁༺北海以北的等待༻꧂」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_45414559/article/details/106005684
# i% Q' P& @" P' ^7 v

738391227

66666666666666666666666666666