Python爬虫仅需一行代码----crawl第三方库

zhangtt123

仅需一行代码写爬虫–simple_crawl
simple_crawl
+ L7 E4 E: K. Y1 E仅需一行代码即可达到爬虫效果
7 o# m" M+ b4 Z  L! }! ?项目地址(欢迎star):https://github.com/Amiee-well/crawl
7 z9 x# }, C$ o: _7 N% L使用方法
( u& N' b+ M$ ~  N5 G0 Mpip install simple_crawl

### 以下源代码为简单介绍,详细功能介绍再源代码之下
from simple_crawl import request
request.parse(
! ~4 y9 M- S' O4 [        # status 参数为运行状态,支持单线程多线程多进程协程以及联合
        status="aiohttp",
        # url 参数为爬虫网址,单线程状态为字符串格式,特殊状态为列表格式
0 c6 t. ^/ D/ r7 j6 `        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        # login 参数为获取登陆信息,如淘宝等网址需要登陆信息
2 n5 B* E% P* @) m2 C2 m1 A' B    #login="taobao",
    # type_url 参数为返回源代码格式,支持text和json,默认返回text
    type_url = "text",
- L% z5 b( _% V7 y    # Parsing 参数为解析方法,支持re、xpath和beautifulsoup
    Parsing = 'xpath',
    # label 参数为爬虫解析过程,字典格式,详情见下方
4 T9 `/ I, A8 H) i& U! S# `    label = {
4 K3 x& y1 j0 G, ^            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
* ?4 j# e' R6 P0 O2 K     },
     # write 参数为爬虫结果保存,支持txt、csv、pkl、json,注:特殊状态爬虫信息容易混乱
     write='result.txt',
     # next_url 参数为下一页爬虫地址,@必须为href,仅支持单线程爬虫
, Z3 g6 ]7 }, S0 H) y     next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
     # page 参数为断续笔记,第一个参数是否启用笔记,第二个参数选填默认page.txt,仅支持单线程爬虫
+ M- ~9 W$ c4 C( r$ D$ c, v) W     page=[True,"now_url.txt"],
: l5 E) h* [3 f  o4 X6 T1 c     # clean 参数为是否进行数据清洗,防止大量爬虫收集无用信息
     #clean=True,
1 W0 N2 d% s& k5 f$ h     # texting 参数为是否选择连续爬虫,避免爬虫过程中出现非代码问题报错结束爬虫程序
4 q# u  D3 P6 J0 j9 z     texting=True,
     # Thread_num 为多线程数,默认为1单线程,支持多线程状态和异步状态
8 o7 F: e5 V/ u% V  n7 f7 m3 l9 A     Thread_num=3,
     # cpu_count 为多进程数,默认为1单进程,支持多进程状态和联合状态
     cpu_count=1,
     # sem 为异步控制数,默认为5同时启动,支持异步状态和联合状态
     sem=5,
     # write_SQL 为是否写入数据库,默认否
     # host 参数默认localhost
     # post 参数默认3306
     # user 参数默认root
     # password 参数必填,必须正确
     # db 参数为即将存入的数据库名,若不存在自动创建
& h) _$ h) h" j* a) P) {     # table 参数为即将存入的数据表名,若不存在自动创建
4 ?% B- X1 q* t+ J- F     write_SQL={
) z8 {6 a; u4 ?9 B8 G         'host':'localhost',
         'post':'3306',
         'user':'root',
% X9 P3 T3 l5 I% O1 l" H0 D         'password':'123456',
         'db':'example',
4 x" {9 z7 I* ~) B1 Z         'table':'example'
      }
2 ~) W, o% z7 p% _1 d" @4 D+ y6 [).run()

7 l; v( A1 w: }介绍一下crawl参数设置：
% F4 H  Q' \! j
'''
单行代码爬虫程序执行
:param status:启用爬虫类型,支持普通爬虫、多进程爬虫、多线程爬虫、异步爬虫、异步多进程爬虫,参数请参考文档
:param url:即将请求的url地址,仅支持get请求
3 y7 [2 K( r) X$ k, j( d$ \:param type_url:请求url后返回格式,支持text和json格式返回
:param Thread_num:即将启动多线程个数,默认为1单线程
:param sem:协程信号量,控制协程数,防止爬的过快,默认为5
! H5 o: n/ h( Y; I:param cpu_count:运行爬虫使用多进程cpu核数,默认为系统核数一半
1 x+ G; y5 u6 X:param login:模拟网站登陆,保存登陆信息
1 G1 a9 L7 T: q; S" q:param Parsing:爬虫方式,支持re、xpath以及bs4方法
0 [" o6 g; T- _# f2 o, X+ X:param texting:是否启用连续爬虫,爬虫程序异常报错后重新启动爬虫,
, W) @* \9 t. b5 n/ W6 w2 v+ H  \                       多次报错结束程序,默认否
:param label:选择器内容,字典格式保存,
: T& \) [& N9 C                     字典值为列表格式,第一个参数为选择器,第二个参数为转换类型
8 Y  ]7 D1 Q1 q! Q, l7 i                     第一个参数必填,第二个参数默认str类型
:param write:是否写入文件,支持txt格式、csv格式、json格式以及pkl格式,默认否
:param next_url:是否跨页爬虫,选择器内容使爬虫继续翻页爬虫
) |; b$ F& l  |& K:param page:是否选择断续笔记接手下次爬虫处理,默认否
:param clean:是否进行简单类型数据清洗,默认否
:param write_sql:是否写入数据库,默认否
' b8 L. c6 i( E$ f                         'host'默认为'localhost','post'默认'3306','user'默认'root',
# q3 Z" L+ [0 U                         'password':'密码','db':'数据库','table':'数据表',
                         检测库是否存在,若不存在则创建,若存在则直接插入,
                         检测表是否存在,若不存在则创建,若存在则直接插入
:return True
* ~  ~+ a2 Z# ^'''
介绍玩法
接下来介绍的均为调用第三方库的情况下运行：

8 H: M# k. M0 @( d# Dfrom simple_crawl import request
第一种玩法：输出源代码
4 `  |" t# B* P; p- X7 W  l, r调用requests库进行源代码请求。
4 }' i) d) X+ o& N5 l8 B
; H% r( ^$ U/ l9 s# g特点：
& P; p& T7 E) x3 H) U9 _7 y6 w2 o请求失败则调用ip池处理重新请求访问，
6 w) s  G& f& y' u6 ?出现五次失败默认网址输入错误。
支持text以及json字符串返回。默认text。
: r. z5 V5 O1 v4 U
缺点：
暂时只能进行get请求，不支持post访问
/ X, L& |( }! W
& S5 |0 N0 J! H8 s) Y：return text or json

7 `  x* R2 U) k) F# Q3 }6 Drequest.parse(
        url = "https://www.douban.com/group/explore",
        type_url = "text"
).run()
* h. ~6 `+ s5 B% B, n/ f# return text

. p8 ~' }- ~" G: R0 J4 o1 {: m第二种玩法：模拟网站登陆并保存信息
7 Y8 _0 W! R2 i调用DecryptLogin库请求登陆访问。

8 X3 D: K4 o6 U! Y" d2 A$ B- s* lps：DecryptLogin库为大佬皮卡丘写的一个很不错的模拟网站登陆库，在此引用一下，因为单行爬虫原因不支持账号密码登陆，我将大佬写的二维码登陆使用过来了。再次感谢大佬开源
在此放出文档地址
DecryptLogin库中文文档：https://httpsgithubcomcharlespikachudecryptlogin.readthedocs.io/zh/latest/

特点：
将DecryptLogin库中二维码继承到此库（非二次开发）
  U/ s, V' |3 N, b, M4 x支持QQ群、QQ空间、QQ安全中心、淘宝、京东和斗鱼登陆（大佬登陆库中所有的二维码登陆）
保存session.pkl信息到本地方便下次登陆运行
4 N+ {3 ?5 F' P4 q& q9 R! d
缺点：
4 E( l! E( ?1 ?1 B- jsession.pkl登陆信息过时无法自动删除。
导致下次登陆疑似cookie无法正常登陆。
) O) b+ K7 F4 U$ g0 q
:return session
( n. ]7 k9 m( Q7 C5 x- v& Q
request.parse(
        # 臭不要脸的推广一下我的店铺
        url="https://shop574805287.taobao.com/",
        login="taobao"
).run()
- p& P* _- y9 H! ?+ H0 P& G# return text
4 i8 w. {# B! }1 x0 ]
+ d# k+ _$ L2 z3 l- W第三种玩法：爬取网站信息
5 ?1 P! U: I6 q6 H- i爬虫库自然少不了爬虫的过程
- e' N3 t. c7 i; \3 Y
. Z* n$ S- I8 Y1 \* I# Q特点：
* {3 o% F6 l4 F支持re库，xpath解析以及bs4选择器。
爬取方法为字典格式。单方面输出。
4 D: \# E) a; _* J' f字典键为保存的字段名称。
0 @) e7 y( |. \3 C8 N字典值为列表格式：第一个参数为选择器，第二个参数为转换类型。第一个参数必填，第二个参数默认str类型。
: T& w* k7 {! m. W1 }+ f+ h0 K
9 U7 n/ h" e5 f5 [5 q7 a. Y缺点：暂无（等待小伙伴们发现）
/ J9 j# y- ?- O  F: E: I
& S# R4 [8 B& l$ E+ R# t6 Q& k：return reptile_results

$ x- Q5 a" Y3 e' u' L, R. g  M2 `request.parse(
        url='https://www.douban.com/group/explore',
# J1 J5 g* H% a  ?        # 字符串格式,选择器方法。
* c6 `; V8 g$ ~* h. N; p: ~    Parsing = 'xpath',
; O8 U( T# |$ g5 E" l    # 字典格式,参数如上。
2 I2 t0 F1 L" ^# |7 e% h4 q: }/ g    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
9 o) L) p' K8 T+ K, C; ^        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
# W. w0 C0 i- ]        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
5 Q1 m* O' [0 ]2 h: d) |        }
).run()
# return reptile_results（list）

第四种玩法：自由保存信息
+ U9 ]) r+ t7 o6 R( d: x* R目前版本支持保存txt、csv、json以及pkl四大主流文件。日后版本更新将发布更为全面的保存方法。

特点：
/ \( f1 r! o+ o# H7 j7 i( L写入文件均为数据格式传入文件。
2 j( `% I% b: C9 C' ]4 j! V% K! e且输入格式规范方便阅读and省事。

, H) q, O) t7 r( o; `% ]缺点：
3 k& V/ b8 J5 l. u  g8 a保存格式仅四种，
) b! _; ]  y* ?不方便用户之后读写操作。

+ [8 N4 V/ f5 l7 {1 l; |+ I, ^. J：return file

request.parse(
        url='https://www.douban.com/group/explore',
    Parsing = 'xpath',
    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
& D& Z& z' Q& X! P        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
$ Y% X$ J+ e1 V        },
    # 字符串格式,具体保存位置填写
! a; C$ J7 k( d, S. L3 J4 N) S    write='result.pkl'
).run()
# return file

第五种玩法：读取下一页 url 地址继续爬虫
这也是每个人都担心的问题，仅仅一行代码怎么可能翻页爬虫。这还真能做到哦~
0 S/ v# ^6 K  {! Z& B0 c7 h
, Y: @# e# L& i) z特点：
继承之前的Parsing参数选择器选择方法。
在这里可读取到解析后的下一页 url 网址。
, e+ O+ o5 ?" l方可继续进行爬虫处理。方便用户使用。

$ k: F& R- B/ X+ b$ E# c/ T缺点：
若爬虫时下一页 url 地址改变，便结束爬虫。
只能爬取所给 url 地址中的信息。
$ A9 N3 O9 r% }8 A无法进行某一界面的多个网页爬取返回。
造成访问页面单一流失。

7 ~  j9 |) |0 k5 |) q3 u. ~：return None

request.parse(
; H& e+ A2 u6 v  Z$ A" m        url='https://www.douban.com/group/explore',
, M6 x& R+ R; @9 X    Parsing = 'xpath',
' R' Q  T6 h9 d    label = {
: O# v  B$ N) m9 f0 V        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
; F! o* t% o  j5 ^: I8 Y* Q9 Q        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
) L# {' X! z3 S5 `' Z8 k    write='result.pkl',
6 U3 p8 `' d3 v    # 字符串格式,根据Parsing方法继续请求下一页a中href
- f6 H3 C( `, l& l% W% @& S7 @: J( @    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
).run()
# return None
# A! e3 \7 i& I6 Y
( O3 g: M1 t$ m/ ^6 c第六种玩法：爬虫网页保存
听说过爬虫断续重连的朋友应该懂得这是个什么神仙操作。每次爬虫运行期间好好的，睡一觉醒来发现代码报错了。。。这就是个很难受的事，还不知道之前爬取到哪一页了，只能重新爬虫了啊！
( m0 Y& b( ~# @
特点：
持续输出断续笔记。
将此次爬虫的 url 地址保存到一个文本文档内部。
1 U+ r# I  v0 z1 H( ^+ s* v* @下次读取文本文档即可快速进行直接断掉的爬虫 url 地址继续爬取所需。
) R& E! }9 G4 o) y3 y
缺点：
读取内容不单一。
( u) V( u, K! f9 Z& A6 t导致下次爬虫无法正确读取上次爬虫留下的痕迹。

0 F3 H: I3 R3 S  E6 r：return url_file

2 \# I9 z  l5 j& Brequest.parse(
0 b% s* E9 \$ S. |7 Z$ }7 F    url='https://www.douban.com/group/explore',
7 T! w4 x! J3 o" U, x' ^1 F    type_url='text',
  d; n$ x8 w4 _6 V/ l3 y0 ]8 T8 Z    #login='taobao',
    Parsing = 'xpath',
    label = {
- r5 l5 d% X5 D0 i& c. v( E  T7 K        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
; G; q  N( _' s3 |        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
% k: q8 [# k! Z3 t0 |4 T' U    write='result.pkl',
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
; {. }. c7 f2 z" A* }) i& `3 ?. ~    # 第一个参数为是否需要断续笔记。
2 E' E$ T8 k# j. H  `1 [4 l0 ?/ T    # 第二个参数为断续笔记保存位置。
    page=[True,'url_page.txt']
).run()
1 C5 a2 J- X" s/ }. L7 ]# return url_file

" g& s$ m( i' j. _$ a( Y( [7 a第七种玩法：简单数据清洗
数据拿下后，直接保存到本地有些大佬可能觉得很辣鸡，连清洗都不清洗就存入本地了？那得拿到多少废数据脏数据。那么接下来介绍一下清洗参数。

特点：
/ k! q! t7 Q* s3 I; @# c$ _本人曾写过一个底层数据清洗。
能将列表格式数据进行归分清洗。
, J9 f/ f  \# a; R: a" \/ B主要内容请参考另一篇文章
如下连接：数据清洗
7 Q' i: a# e. i1 W) @( i
* G$ S6 J! Q8 C缺点：
数据清洗格式简单。
* }+ e. ]3 A( a. I数据清洗内容单一。
* O0 w  g& Z, o" C) R无法完全做到绝对清洗。
有待改善。

：return keyword_list, value_list
( ~) _# ~6 w" e; @3 ~$ o( V& |& u: ]
* m; `% B( H: B: trequest.parse(
    url='https://www.douban.com/group/explore',
- n6 i) u8 q6 E" R" h8 ]    Parsing = 'xpath',
& \. M% g3 V2 Q$ [    label = {
- |6 b. P% T) [/ d. h" t        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
" O/ h( l# w9 c+ X: L0 g; f- P7 A        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
; K2 r, R% G. h9 ^! s  ~' j* k8 n4 g        },
    write='result.pkl',
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
5 Y3 Y5 p4 Y9 O! ^9 C+ k( Q    page=[True,'url_page.txt'],
    # bool类型,默认不清洗
    clean=True
).run()
  m5 r+ l& H* q' f0 C; e
第八种玩法：爬虫存入数据库
存到txt、存到csv、存到json、存到pkl，那也太low了吧。现在流行的数据库用不了么？那是不可能的。。

特点：
信息存入MySQL数据库。
3 K; j% p$ ~& {7 o8 v可连接docker远程数据库。
1 m, ?& d3 X7 `! e) Y! s数据库的库名可以不存在。
数据库的表名可以不存在。
: U3 L2 {9 ^, m& w根据之前传入字典键与值参数判断表类型。
自由建立数据表传入信息。

0 D, Y4 G9 e% F/ k4 ~缺点：
6 V# m! X# I' E1 S6 U. A6 T仅支持MySQL数据库。
8 i! j. E6 c0 ^
：return SQL
7 }! i* G! J& t+ J* w; ^  ^
request.parse(
    url='https://www.douban.com/group/explore',
    Parsing = 'xpath',
    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
  X) L1 W- |9 c        },
8 J7 l. i9 q" v3 R, v. q) ~4 f    write='result.pkl',
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    page=[True,'url_page.txt'],
    clean=True,
$ f3 j% Y) P% g& W. u4 W    # 字典格式,
) ^! }( I7 V6 R  C% Y# Y    # host可有可无,默认localhost
    # post可有可无,默认3306
1 V7 W8 S7 a) O; R7 y0 ?4 d    # user可有可无,默认root
6 A1 e' @& ]+ z2 v$ o. S    # password必要参数,数据库连接密码
    # db必要参数,数据库即将存入的库名
    # table必要参数,数据库即将存入的表名
    write_SQL={
( j, u0 T- S! c( @2 U2 Z) X        'host':'localhost',
( G0 @& o' I4 N+ c        'post':'3306',
9 y2 A( C- s8 L8 p8 G        'user':'root',
        'password':'123456',
# i' V% F7 b7 y  w        'db':'example',
        'table':'example'
        }
    ).run()

第九种玩法：重新启动爬虫
9 A, G8 d" b3 C2 \5 S爬虫最让人厌烦的就是被一个不痛不痒的错误信息给终止爬虫了，比如意外的远程断开链接等低级非代码错误，报错之后还得重新启动断续爬虫，就显得很麻烦。我做了一期爬虫程序异常报错后重新启动爬虫，多次报错结束程序。

特点：
检测报错重新启动爬虫
无需手动处理错误信息
) Z$ E5 ~" O4 u8 P; C
缺点：
无法收集子线程错误。

：return None

' Q- K# m6 T1 zrequest.parse(
/ E$ K2 L$ b& v+ T4 K4 L        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
1 O( i9 z" {& c, v0 C2 g        #login="taobao",
        type_url = "text",
6 @5 M2 n- P0 P9 l' {+ b        Parsing = 'xpath',
        label = {
$ N: u& r; S. f7 n            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
- V' Q9 M! v1 \4 j) |" d- `            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
% x% L, J$ X6 ^' _( q* ~            },
        write='result.txt',
* `; O: \- n) j( E4 v% S2 g        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
        # texting 参数为是否启用连续爬虫
        # 爬虫程序异常报错后重新启动爬虫
2 u. z  S5 Z5 |- k        texting=True,
        ###
7 a+ L# C5 g/ m' n% n3 t/ m        write_SQL={
            'host':'localhost',
            'post':'3306',
3 v! H0 x& s+ E( U- E            'user':'root',
. l' [3 k# ~* n* q8 ~  R            'password':'123456',
* f: }& O0 q; r            'db':'example',
            'table':'example'
            }
4 o% p! Q' A/ g0 E2 J3 Q- ]).run()
7 G2 v1 |1 x0 v4 d# o; F% z
0 _8 K5 G  F8 b4 I第十种玩法：多线程爬虫
5 i7 @, q2 K, j( J9 O4 v特点：
3 e+ \$ b% \7 I1 s爬虫速度加快，
更好的利用了线程。
! L7 U' I$ @$ E6 a- O. v: _
' g' c9 T* ]( K$ p; a- h, o缺点：暂无
  f4 d) G3 O. Y! n: Z! m8 b
：return None

request.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
        type_url = "text",
        Parsing = 'xpath',
        label = {
' J9 W& V2 f1 h# h5 J            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
! E( N/ A- F2 ^- f            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
( ^3 s8 W% M/ N9 R% P        write='result.txt',
1 Q* h& J0 n" y: d, r/ _        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
6 j/ g0 H5 A; f* G6 B9 B  J6 R        page=[True,"now_url.txt"],
        #clean=True,
1 o* \9 }# Q! f- N6 B        texting=True,
7 E2 |. V( D) q9 ~& ?2 z        # status="threads" 启用多线程爬虫
        # Thread_num 为线程数目,默认为1 单线程
0 {3 K% a! g- x" c1 x2 I) P( I& F' G6 ~8 t        status="threads",
& f  E8 Q& h+ J        Thread_num=3,
        ###
        write_SQL={
            'host':'localhost',
3 l* V3 k" e4 ?( H            'post':'3306',
            'user':'root',
            'password':'123456',
* d! X/ _* [- Q! u6 }; F            'db':'example',
. S9 {0 {5 G$ p) X& c9 a            'table':'example'
% z( V0 g) p( y4 m* z/ b1 Z- H' U            }
).run()
4 S& O3 v: M' g  V
! _; u1 @1 I8 N% ~2 c0 ?第十一种玩法：多进程爬虫
8 R8 F; T0 y: j& u6 t8 W% D特点：
/ ~+ G# P# `5 A2 |爬虫速度加快，
更好的利用了进程。

缺点：暂无

：return None
! ~' N5 G7 j) t9 ^+ e' d8 N" I
from simple_crawl import request
; }0 e7 N4 D8 e1 _# l6 v- ]request.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
* [5 ~! k5 D, z8 a  V  J        #login="taobao",
        type_url = "text",
        Parsing = 'xpath',
        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
" I& R3 D& a8 }            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
7 b( i4 p0 T4 z8 d6 ~: N+ t            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
' D8 _/ w7 J$ Q        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
' [/ P& [' a, `4 r2 I+ [; b        page=[True,"now_url.txt"],
        #clean=True,
        texting=True,
        # status="multiprocessing" 启用多进程爬虫
2 N! n; v' h3 h4 b6 v/ H8 u, r        # cpu_count 为启动代码核心数,默认为系统核数一半
        status="multiprocessing",
        cpu_count=2,
1 Q8 S/ @9 O, X; i        ###
$ D6 n- c. A- ~        write_SQL={
            'host':'localhost',
            'post':'3306',
2 _' \7 I: r# q$ D* [            'user':'root',
            'password':'123456',
            'db':'example',
            'table':'example'
            }
. l9 T+ @' O' A! X9 Q/ T).run()
5 p4 i- [" ~/ z
第十二种玩法：异步多线程爬虫
) K3 V8 V) q* u9 N; D特点：
+ b% a/ P6 \- T' O5 n' t% l爬虫速度加快，
异步使得爬虫无等待时间，
同时使用多线程速度明显加快。
$ L+ j% i9 e) j7 r- A
缺点：暂无
+ r% Z6 M, \4 v5 i' |; s
：return None

from simple_crawl import request
' u0 o2 V* I( t9 @) ^3 s0 O2 wrequest.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
/ {3 O1 I$ k6 O+ h, Y/ H5 d        #login="taobao",
        type_url = "text",
1 x* k% [: }! C7 v3 Q        Parsing = 'xpath',
4 f2 j9 F5 q0 D        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
9 U. r+ T9 D" E  ~6 }; c            },
1 Y8 J% F2 f+ O        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
+ e5 \6 F$ z0 s, W        page=[True,"now_url.txt"],
7 M4 O/ r) J' V  V        #clean=True,
. [" U+ B5 |# c+ k        texting=True,
        # sem 参数为异步引擎数目,默认为5
        # 其他参数同上
1 q4 f+ I2 f" |; K4 P- W        status="aiohttp",
        Thread_num=3,
        sem=5,
+ z5 v! x5 M8 q; S: B% y        ###
7 q, l" s+ i( j- b- K8 I" z        write_SQL={
  I+ t& n/ w. u            'host':'localhost',
8 M/ F, u" k9 h# v+ ]+ V            'post':'3306',
: Q& t$ S: \6 D7 t7 v2 C9 g            'user':'root',
            'password':'123456',
/ A5 R1 J: ?. Q. F            'db':'example',
( W: O/ V; g8 h            'table':'example'
9 |; s% i( v/ ^            }
).run()
7 m# V2 [$ d* O1 e
第十三种玩法：异步多进程爬虫
特点：
爬虫速度加快，
8 Z7 c8 O. E. z  Y异步使得爬虫无等待时间，
$ V3 R2 |" u: X; X, D# \同时使用多进程速度明显加快。
9 Z1 L  o* Q3 }- z
缺点：暂无

：return None
0 A4 t4 P8 ^7 a( Q+ n
# s, X& I% j! ]9 D# R2 @3 Dfrom simple_crawl import request
request.parse(
! ~2 C2 p/ Y' d9 I5 D4 H' ?3 G! \7 ]        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
        type_url = "text",
        Parsing = 'xpath',
        label = {
6 `' `# H+ u$ `5 [" u  ]            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
, L; F/ C/ b) n" r3 A; F/ _) v            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
9 ], |$ a3 x: _1 Y' i) r, H* K            },
7 V0 k3 W. s( o        write='result.txt',
  M- R% Q8 a* C, Q        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
  F0 y; o& V8 X        #clean=True,
( ?: o" E/ I* [& o# O        texting=True,
        # 参数如上
. u% k* A4 P! {        status="between",
" L+ d! i, W- P+ @5 R: {( I        cpu_count=1,
        sem=5,
        ###
        write_SQL={
0 A' r) H) ^$ v  b% A            'host':'localhost',
            'post':'3306',
            'user':'root',
7 t+ E6 i% w$ q# D1 b            'password':'123456',
2 t& L& ^' w$ q' J5 t1 H2 o            'db':'example',
6 d* a  x. d  L; A; x+ t7 I            'table':'example'
            }
).run()
$ q, i' M( G% z( i: S

功能介绍完毕🤞
最后还是希望你们能给我点一波小小的关注。
奉上自己诚挚的爱心💖
! C" a9 V; J8 e: G, A————————————————
( f5 M, L  b) F! ^/ |- W版权声明：本文为CSDN博主「꧁༺北海以北的等待༻꧂」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
4 x  p1 B4 p( A. l( ]6 a! C原文链接：https://blog.csdn.net/qq_45414559/article/details/106005684


& h5 u2 c# X% @$ b* N

738391227

66666666666666666666666666666