Python爬虫仅需一行代码----crawl第三方库

zhangtt123

仅需一行代码写爬虫–simple_crawl
simple_crawl
仅需一行代码即可达到爬虫效果
( b: c/ N5 [' ~0 [项目地址(欢迎star):https://github.com/Amiee-well/crawl
. a8 ^; B6 u2 t* K. ^3 f( o$ R7 c使用方法
  U- T, K% ?' m6 F7 N6 Hpip install simple_crawl

! [. N8 q0 V& w1 H### 以下源代码为简单介绍,详细功能介绍再源代码之下
from simple_crawl import request
9 X5 q! Y! z6 _& Y) K2 g* y5 Urequest.parse(
        # status 参数为运行状态,支持单线程多线程多进程协程以及联合
        status="aiohttp",
        # url 参数为爬虫网址,单线程状态为字符串格式,特殊状态为列表格式
" A* f1 |; e& a  B% q0 L. Q3 l5 C$ W        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        # login 参数为获取登陆信息,如淘宝等网址需要登陆信息
    #login="taobao",
* c5 I/ _. a' T1 @. o    # type_url 参数为返回源代码格式,支持text和json,默认返回text
4 o6 ?4 @' G* t0 C: h$ ?& |- G, _5 a    type_url = "text",
    # Parsing 参数为解析方法,支持re、xpath和beautifulsoup
7 P0 K5 M. _7 P) i0 m    Parsing = 'xpath',
    # label 参数为爬虫解析过程,字典格式,详情见下方
+ K8 |4 P5 e+ C# g/ t, i    label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
) {/ i  o% i- X     },
     # write 参数为爬虫结果保存,支持txt、csv、pkl、json,注:特殊状态爬虫信息容易混乱
     write='result.txt',
     # next_url 参数为下一页爬虫地址,@必须为href,仅支持单线程爬虫
6 |. Z2 i9 Z% H7 l& q. y* H. b     next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
     # page 参数为断续笔记,第一个参数是否启用笔记,第二个参数选填默认page.txt,仅支持单线程爬虫
     page=[True,"now_url.txt"],
6 {* l, l+ E# u# U1 t     # clean 参数为是否进行数据清洗,防止大量爬虫收集无用信息
     #clean=True,
& P/ p8 n3 ~% E     # texting 参数为是否选择连续爬虫,避免爬虫过程中出现非代码问题报错结束爬虫程序
1 ~+ I6 R5 [9 m  L" M& \2 Y9 \     texting=True,
     # Thread_num 为多线程数,默认为1单线程,支持多线程状态和异步状态
     Thread_num=3,
; O+ W8 w6 Q% q0 n+ x5 v     # cpu_count 为多进程数,默认为1单进程,支持多进程状态和联合状态
8 R7 v7 |! c" q4 X9 J/ W     cpu_count=1,
4 q3 A5 f! J/ s1 E     # sem 为异步控制数,默认为5同时启动,支持异步状态和联合状态
+ m% }$ Y0 e8 p& Y, H     sem=5,
9 _" C6 j: W6 C     # write_SQL 为是否写入数据库,默认否
* }: ^1 I7 T# n, r' @! U  l3 c     # host 参数默认localhost
     # post 参数默认3306
     # user 参数默认root
- w2 Z3 D* e1 }: g     # password 参数必填,必须正确
0 Z1 s( Q. ^$ `- g     # db 参数为即将存入的数据库名,若不存在自动创建
     # table 参数为即将存入的数据表名,若不存在自动创建
: r% X+ c2 p) M6 N4 v" E     write_SQL={
" Z- Z! n. `5 ~4 \0 |         'host':'localhost',
         'post':'3306',
         'user':'root',
' g2 ]" [. l* m/ t         'password':'123456',
; p3 S+ F1 g9 q; V+ H# |- m         'db':'example',
: D# b: f' J7 X4 f) R         'table':'example'
      }
).run()
0 |0 a- J! Q- J
介绍一下crawl参数设置：

& b4 {9 R$ {* c  n0 x. e; o'''
+ ?/ i* V) ~3 Z单行代码爬虫程序执行
:param status:启用爬虫类型,支持普通爬虫、多进程爬虫、多线程爬虫、异步爬虫、异步多进程爬虫,参数请参考文档
' L5 i5 @. [9 J7 H7 d  ?9 R6 Z, l:param url:即将请求的url地址,仅支持get请求
/ E$ t( K. W$ p/ J, n2 E$ _:param type_url:请求url后返回格式,支持text和json格式返回
/ r' U2 {% X6 F/ o( h:param Thread_num:即将启动多线程个数,默认为1单线程
:param sem:协程信号量,控制协程数,防止爬的过快,默认为5
3 T, K1 J! k7 o: n7 r6 R$ I6 i:param cpu_count:运行爬虫使用多进程cpu核数,默认为系统核数一半
$ h& n) a2 S$ E1 `3 n:param login:模拟网站登陆,保存登陆信息
4 w* K# M) r: W" A4 w" K& ?) k% ?:param Parsing:爬虫方式,支持re、xpath以及bs4方法
:param texting:是否启用连续爬虫,爬虫程序异常报错后重新启动爬虫,
& [4 a/ S5 l1 R+ a                       多次报错结束程序,默认否
:param label:选择器内容,字典格式保存,
                     字典值为列表格式,第一个参数为选择器,第二个参数为转换类型
( l4 v/ G4 B& m, ^9 @2 n                     第一个参数必填,第二个参数默认str类型
, H' R8 c5 t1 \( N! i% ]9 ~:param write:是否写入文件,支持txt格式、csv格式、json格式以及pkl格式,默认否
:param next_url:是否跨页爬虫,选择器内容使爬虫继续翻页爬虫
/ C4 [! P$ r0 w! P4 s5 k, W9 ]:param page:是否选择断续笔记接手下次爬虫处理,默认否
:param clean:是否进行简单类型数据清洗,默认否
:param write_sql:是否写入数据库,默认否
2 u2 {6 p# g9 s/ m                         'host'默认为'localhost','post'默认'3306','user'默认'root',
# D- y& @; @! Y# k2 _& W. A                         'password':'密码','db':'数据库','table':'数据表',
                         检测库是否存在,若不存在则创建,若存在则直接插入,
* `6 K  |3 j4 |9 c8 Y8 ?                         检测表是否存在,若不存在则创建,若存在则直接插入
/ J+ c  i1 ]+ m! {9 B  Z. s. P:return True
'''
" s1 J0 j1 j$ h1 [4 P, b4 T介绍玩法
+ z! j* D3 y3 p$ {6 j" _: E接下来介绍的均为调用第三方库的情况下运行：

from simple_crawl import request
第一种玩法：输出源代码
调用requests库进行源代码请求。

9 T: B! y# \( S1 j2 x* d特点：
9 ~5 [. ^6 S" U请求失败则调用ip池处理重新请求访问，
7 J% |- L7 w  r; o+ u出现五次失败默认网址输入错误。
& v2 ?) o. E5 |% g支持text以及json字符串返回。默认text。
/ T0 `  n4 H% y) H7 B8 R) d! }& @
8 l1 l' ~5 [3 ^- m6 H缺点：
暂时只能进行get请求，不支持post访问

：return text or json

request.parse(
        url = "https://www.douban.com/group/explore",
: |* g: j1 p3 v* w) _" ^. H        type_url = "text"
$ T8 h( S$ B/ O& }- }).run()
# return text

" d" E/ A( U. ^5 z+ O/ F9 i第二种玩法：模拟网站登陆并保存信息
2 |* U4 e' ~( q调用DecryptLogin库请求登陆访问。

ps：DecryptLogin库为大佬皮卡丘写的一个很不错的模拟网站登陆库，在此引用一下，因为单行爬虫原因不支持账号密码登陆，我将大佬写的二维码登陆使用过来了。再次感谢大佬开源
在此放出文档地址
DecryptLogin库中文文档：https://httpsgithubcomcharlespikachudecryptlogin.readthedocs.io/zh/latest/

/ z' y+ l. |4 }; I" j特点：
将DecryptLogin库中二维码继承到此库（非二次开发）
) c$ h$ e$ B) S: Y: o1 P支持QQ群、QQ空间、QQ安全中心、淘宝、京东和斗鱼登陆（大佬登陆库中所有的二维码登陆）
保存session.pkl信息到本地方便下次登陆运行

* C% I3 g. u. A. s) h$ S缺点：
, l, K* x3 |6 c) u4 F/ [" ~4 w% Dsession.pkl登陆信息过时无法自动删除。
导致下次登陆疑似cookie无法正常登陆。

:return session
* m! b3 M, z# l7 P& t. }
6 Q9 e3 z* y# ~$ P% }/ u7 l. Xrequest.parse(
7 o# |' ~8 C* F, R        # 臭不要脸的推广一下我的店铺
        url="https://shop574805287.taobao.com/",
9 X8 g9 C3 K' }' `" r, e' b. [        login="taobao"
).run()
# X4 A* g7 o( K# return text

第三种玩法：爬取网站信息
, @, A; w0 H( b. a* O* J爬虫库自然少不了爬虫的过程

) I" l, i1 B3 J9 H/ {1 ?. K特点：
支持re库，xpath解析以及bs4选择器。
6 J- g8 O* l1 |, f- ]爬取方法为字典格式。单方面输出。
字典键为保存的字段名称。
: ~  R" c6 s0 u3 p* w1 n  Q- v9 p* {0 P字典值为列表格式：第一个参数为选择器，第二个参数为转换类型。第一个参数必填，第二个参数默认str类型。
4 C( j" m7 Y7 f! w: v. ]. }
缺点：暂无（等待小伙伴们发现）
" g0 F5 o% m5 m7 z$ D
：return reptile_results
4 ?1 d3 p; M# ]* v3 B% k/ ?
% ]' B0 X3 T1 d% t) Drequest.parse(
! o- W7 l: h! ~  m        url='https://www.douban.com/group/explore',
% }! U- `1 r  M- M        # 字符串格式,选择器方法。
    Parsing = 'xpath',
    # 字典格式,参数如上。
    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
' r. t5 J9 K* U        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        }
8 r) F7 b$ C( ~7 C3 K).run()
# return reptile_results（list）
7 s* T) z/ T( I" r7 M, j- ]* B
0 T+ r9 w0 M( x, U' C6 D6 A" O第四种玩法：自由保存信息
/ D. z4 Q9 W2 j1 h1 O0 z目前版本支持保存txt、csv、json以及pkl四大主流文件。日后版本更新将发布更为全面的保存方法。

特点：
写入文件均为数据格式传入文件。
  [% Y) U! j3 e7 R  `2 P5 V5 R  o: L且输入格式规范方便阅读and省事。

缺点：
9 }" I" v. k$ H; i" J; }* z保存格式仅四种，
不方便用户之后读写操作。

8 S+ v; j8 A' M9 U- o  b：return file
( i9 R8 W' o. n" K9 I
request.parse(
) @- L  ~% x9 }/ a3 P3 y  i        url='https://www.douban.com/group/explore',
8 y8 f- }' Z  v; X/ m6 Z, ^8 ?    Parsing = 'xpath',
' u) x% j* q4 _* X    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
, Z! `" X6 C( t+ K7 @        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
* K' \* ~% Q" }6 H* o% O    # 字符串格式,具体保存位置填写
5 \* ]' I, \! X0 i/ P9 I" V& i    write='result.pkl'
6 R7 V0 q  r/ P, k).run()
0 Q1 s6 L( f3 H' R9 e4 p# return file
" `, [* i) J, Y- X9 p( ]# T! L
% \7 U3 r" h% h' |5 C5 {' w第五种玩法：读取下一页 url 地址继续爬虫
这也是每个人都担心的问题，仅仅一行代码怎么可能翻页爬虫。这还真能做到哦~

' d5 M7 B; V; f' L& d) B特点：
, h- C4 m2 q- w4 O" u  U- l继承之前的Parsing参数选择器选择方法。
在这里可读取到解析后的下一页 url 网址。
" T( k9 ~9 e2 s  _8 p方可继续进行爬虫处理。方便用户使用。

3 @2 ?( Z8 N9 T" l; @5 ?8 F+ A! [4 n/ A+ K缺点：
- [2 X/ r% l* F/ {  l若爬虫时下一页 url 地址改变，便结束爬虫。
, U6 [2 U# g8 H2 R; F+ S) q只能爬取所给 url 地址中的信息。
, U6 Y+ ]/ E2 d+ W; V2 m无法进行某一界面的多个网页爬取返回。
3 p7 T6 y/ q1 @7 a, ^3 P+ n7 H造成访问页面单一流失。
/ A: S9 f. |( j% z9 s9 Y; G
：return None
' f9 H2 `% V- Q* f
9 s/ D- [" N* A+ |6 y3 Zrequest.parse(
% k' b2 z, {; X, @  H        url='https://www.douban.com/group/explore',
8 X/ c6 g5 H0 N, J4 `9 E    Parsing = 'xpath',
& V; _  _' v. r4 w% e. J    label = {
+ z" v8 a1 Y  U5 s( c) m" F$ a        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
) g  C; e# f; x+ ^2 A4 T        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
/ c( i6 s6 m) W# J. E: j1 G  e        },
    write='result.pkl',
" A+ Z' y8 R+ }8 r: d4 T; L3 @    # 字符串格式,根据Parsing方法继续请求下一页a中href
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
  D: r/ v: v9 r% m8 y+ p  C+ p6 C! v).run()
# return None
! b% P7 @# C% H. `- U4 G/ X
第六种玩法：爬虫网页保存
' v* ^* s* ]; B9 B3 L( Z- ^& R6 A( W听说过爬虫断续重连的朋友应该懂得这是个什么神仙操作。每次爬虫运行期间好好的，睡一觉醒来发现代码报错了。。。这就是个很难受的事，还不知道之前爬取到哪一页了，只能重新爬虫了啊！
  w# ^( X& |  o" R8 g. ?
% u( X% l; `: x" n+ r3 N特点：
持续输出断续笔记。
: n, q8 _6 F+ e( l, O: {将此次爬虫的 url 地址保存到一个文本文档内部。
) k& w* x* R$ P3 _  f* w下次读取文本文档即可快速进行直接断掉的爬虫 url 地址继续爬取所需。
0 a3 m( l3 }/ l$ }' V% Z" N6 z
: C6 a, D" v$ {* k- P' [缺点：
读取内容不单一。
" e: `, ]1 ?2 a' }9 n导致下次爬虫无法正确读取上次爬虫留下的痕迹。

( p0 v/ F- t/ ?  U# y# n8 |+ T：return url_file

request.parse(
    url='https://www.douban.com/group/explore',
# ?- i9 K5 ~; ]    type_url='text',
& y5 i! a7 o8 K    #login='taobao',
    Parsing = 'xpath',
3 A( B  O: O' }    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
( J5 T+ _% k/ b" e4 p/ }    write='result.pkl',
8 Q( K7 t9 i; Z    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
! I5 L, n% z! s% I" y4 w    # 第一个参数为是否需要断续笔记。
: t- G" }5 D; ?1 `5 z) a2 t: ^% _7 M" |    # 第二个参数为断续笔记保存位置。
9 ^1 q% f/ H7 j" j    page=[True,'url_page.txt']
).run()
2 B( Z% S* M8 P- z- i; ^6 ~# return url_file
, T) w0 S$ G+ r- w, q, r
第七种玩法：简单数据清洗
数据拿下后，直接保存到本地有些大佬可能觉得很辣鸡，连清洗都不清洗就存入本地了？那得拿到多少废数据脏数据。那么接下来介绍一下清洗参数。

特点：
本人曾写过一个底层数据清洗。
能将列表格式数据进行归分清洗。
) e! t" ]% u0 j6 O) r+ ~, ]主要内容请参考另一篇文章
& O1 U, ^4 r. ^6 H3 V7 o如下连接：数据清洗

缺点：
$ _* p3 {. [2 o  G4 g数据清洗格式简单。
5 H* Y6 V0 ^+ D% ~; v) B数据清洗内容单一。
6 R& Y+ o; h7 f无法完全做到绝对清洗。
有待改善。

：return keyword_list, value_list
. E, X' T' x$ o" w: g
request.parse(
    url='https://www.douban.com/group/explore',
    Parsing = 'xpath',
/ E' w: M' y  I# T$ G    label = {
5 E' g; F2 ^# O. U! p- Z        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
* R, a. I7 k- t' o) z! m        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
5 S% f. L4 d$ m6 C2 `9 v2 B1 K        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
    write='result.pkl',
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
+ d. ^: C1 e4 t8 [7 P: t& v  q4 h    page=[True,'url_page.txt'],
8 J" L, s' f- J3 v% B! K2 [    # bool类型,默认不清洗
    clean=True
* _3 t1 w8 ]2 W* {).run()
$ G( x; L0 v1 x7 n0 R3 z3 i
第八种玩法：爬虫存入数据库
7 o! _5 ?1 `# v2 s$ n3 {) Y" h$ g存到txt、存到csv、存到json、存到pkl，那也太low了吧。现在流行的数据库用不了么？那是不可能的。。
8 U- _$ f3 ~5 z! V3 e* ?
( [' P' A8 b, s( X  n! s5 R6 T特点：
信息存入MySQL数据库。
可连接docker远程数据库。
数据库的库名可以不存在。
数据库的表名可以不存在。
根据之前传入字典键与值参数判断表类型。
自由建立数据表传入信息。
4 ]" p1 c; I# H: Y; F3 r" _3 R# V% X
缺点：
% D' N, r7 G7 f仅支持MySQL数据库。
& q) V" I, Y& L. x8 n2 ]
：return SQL

* ?  s7 I! E; {+ K# {$ c$ S, ^request.parse(
  V1 x0 ~0 B5 A3 P: f- l    url='https://www.douban.com/group/explore',
3 H  q4 I6 h8 s" P    Parsing = 'xpath',
+ ^. C, ]* ~# M' ^+ R2 z8 B    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
7 |! [% Y9 l* O4 `        },
    write='result.pkl',
! A" b! A' Q# Q0 I8 N6 x+ \* N    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    page=[True,'url_page.txt'],
    clean=True,
    # 字典格式,
# q2 c5 D7 F% ]9 C* w    # host可有可无,默认localhost
/ _$ F; ~* E& Y    # post可有可无,默认3306
    # user可有可无,默认root
    # password必要参数,数据库连接密码
  h  k: j# E) F3 C5 q* P$ L% o    # db必要参数,数据库即将存入的库名
, U# o/ l. y# J' g  F* T+ i    # table必要参数,数据库即将存入的表名
4 P! w6 m2 p" l    write_SQL={
/ U) C! p) p4 l! v) O( F) Z        'host':'localhost',
        'post':'3306',
        'user':'root',
        'password':'123456',
        'db':'example',
        'table':'example'
; j' I" w/ W  F" |        }
5 z3 d1 z1 Q" ^* R' r$ X    ).run()

8 o$ x1 k; T2 a- K/ m- R  `第九种玩法：重新启动爬虫
爬虫最让人厌烦的就是被一个不痛不痒的错误信息给终止爬虫了，比如意外的远程断开链接等低级非代码错误，报错之后还得重新启动断续爬虫，就显得很麻烦。我做了一期爬虫程序异常报错后重新启动爬虫，多次报错结束程序。
. U, K8 }7 X8 r% d& B9 j' ]
特点：
检测报错重新启动爬虫
无需手动处理错误信息

缺点：
& U5 W0 G1 \5 Q* i% |无法收集子线程错误。

：return None

$ |5 \4 n4 s/ m, Nrequest.parse(
4 v, V2 a+ ?; T; c        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
% l0 n7 k7 V3 r  p5 i' q, ?        #login="taobao",
8 p! Q4 @9 q9 H4 ^% {        type_url = "text",
, s2 S* U# [+ R8 e% p" @        Parsing = 'xpath',
9 w7 R8 U: s$ ~        label = {
: j. M+ J0 _) `. [: T: e            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
8 D2 [# I/ m# b' d4 W            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
        # texting 参数为是否启用连续爬虫
        # 爬虫程序异常报错后重新启动爬虫
        texting=True,
        ###
: ]- E0 _, Z% W7 s- e1 R7 s. T. u        write_SQL={
. B, H6 A* @1 y3 `            'host':'localhost',
            'post':'3306',
( d1 P( P) A7 j: R# q9 z' i" d( c            'user':'root',
            'password':'123456',
7 [0 N. c6 D1 `+ n' C            'db':'example',
4 ^  p& n' |. I' O9 @  Y+ S            'table':'example'
$ V) J; y. S" F' @2 u2 d1 A            }
& w  v! \1 \8 Y' B3 C; d).run()

" b6 e: J8 r4 K- s9 Z' y第十种玩法：多线程爬虫
1 J, o5 _3 g$ e! y5 v特点：
爬虫速度加快，
' z1 n+ o1 x! ]% n, b* |. I更好的利用了线程。

缺点：暂无
! s) w4 w! y9 a) X* A# J5 S
1 s; @' \7 C: r. B2 L  G% t：return None

request.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
  G/ ?! X  e/ c3 o& f9 N0 K, E        type_url = "text",
$ _( T% [  t- Y        Parsing = 'xpath',
        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
" f* B/ d. G# s6 h9 g/ ~! F            },
        write='result.txt',
' ~8 ^8 o- |2 }- s        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
4 _" V8 L7 w% R1 k2 X        #clean=True,
& }* k# s: D) l' p. p# ?8 r: Y        texting=True,
6 G1 e' ]( A. W" b( E3 r; R        # status="threads" 启用多线程爬虫
        # Thread_num 为线程数目,默认为1 单线程
( G! k* c( W' @, }$ a  M6 e        status="threads",
9 I# M4 `0 T% r; v$ w' |        Thread_num=3,
        ###
1 q3 C' t$ [' w; L; |        write_SQL={
& |, ?+ ]+ L5 P( p$ P6 ^  ^            'host':'localhost',
3 D; o5 K7 G! ^/ v, U6 f* T3 x            'post':'3306',
            'user':'root',
/ q0 `' k1 y, v3 J& A            'password':'123456',
            'db':'example',
            'table':'example'
            }
).run()
& Y' v. I! ^, K* m% O/ H6 t8 `8 `6 y
第十一种玩法：多进程爬虫
7 P/ m2 _6 c) `特点：
爬虫速度加快，
更好的利用了进程。
4 `; E+ P* y/ T, h
* k9 n' S5 F& N; G4 t* `+ Z缺点：暂无
$ H& ?% N" ^4 N0 P
：return None

( J* D" U' ?1 X/ n: ?from simple_crawl import request
request.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
! [, W* p$ l- {- ~, k. H        type_url = "text",
        Parsing = 'xpath',
! V( e: E) K+ s  @" j$ X        label = {
6 i6 J: ?- f/ V2 _9 X% `+ C            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
" q3 a# ]2 h6 u6 t            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
9 x, l1 n' ]  \' `$ U  ~* j            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
( A1 A/ E( o# f5 x9 X+ p% s. u            },
        write='result.txt',
) {9 k2 Y5 _3 ?5 w* W        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
        #clean=True,
        texting=True,
        # status="multiprocessing" 启用多进程爬虫
        # cpu_count 为启动代码核心数,默认为系统核数一半
        status="multiprocessing",
        cpu_count=2,
7 I: H  D! E3 n! F! L: K; q! ~        ###
# B1 C# f( y" Z" E: P( k        write_SQL={
2 l& v9 c5 B% k. Z7 O( V- z            'host':'localhost',
( b1 g7 i" v' U  u/ ~            'post':'3306',
            'user':'root',
            'password':'123456',
            'db':'example',
1 ]) d% v( J2 h! S7 G0 H            'table':'example'
            }
: p" ^6 Z7 M2 w8 Z0 q).run()

第十二种玩法：异步多线程爬虫
+ t" E5 ]1 b. j特点：
0 O& X. v  p; b. T0 K爬虫速度加快，
" d1 u9 D. O! }6 l" X, Z& m6 I7 H异步使得爬虫无等待时间，
同时使用多线程速度明显加快。

+ d  t- R( i. Y7 s, k0 Y' b缺点：暂无
7 W# k5 M" W4 i+ z7 E. [, A& P
：return None
% ^2 X' M" g  _& O. g
from simple_crawl import request
request.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
* J' X- J3 u. A. s# Y5 K( n  f        #login="taobao",
4 |9 u7 j$ k: r9 U2 }2 w8 }3 K        type_url = "text",
        Parsing = 'xpath',
        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
$ b! G' z' t; J5 f9 S9 q! V6 J            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
. z8 a/ Y% g6 |5 o& ]' |            },
8 b+ @; E$ g. M  v3 Y7 u        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
        #clean=True,
) }3 _7 P: S# S' {        texting=True,
7 C: h0 ]! p( [( X# U5 E! O        # sem 参数为异步引擎数目,默认为5
2 f& Y% e" n! o8 A. k+ r3 y        # 其他参数同上
/ o( j1 ~( L2 k8 Y  `3 Z        status="aiohttp",
" Z; d1 K9 w/ L' \- k        Thread_num=3,
  i) A: N* l" I        sem=5,
        ###
        write_SQL={
            'host':'localhost',
            'post':'3306',
! j; `# ~& k  e9 I! A            'user':'root',
            'password':'123456',
# h8 y- s8 u& S/ ]/ d+ B/ `            'db':'example',
) w3 u& x. x* Q! ]            'table':'example'
  h7 f' I! X1 e% ^3 W            }
).run()

  G  z2 \6 g) K4 V第十三种玩法：异步多进程爬虫
特点：
爬虫速度加快，
! g# B, p1 K% O, T4 t! a0 b) F异步使得爬虫无等待时间，
5 f3 e' I, k4 m* {同时使用多进程速度明显加快。

缺点：暂无

：return None
7 b! ?' `; F; L  ~* h
' r  b: F. X- [2 b  o+ j4 ?. Mfrom simple_crawl import request
request.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
        type_url = "text",
- K4 P3 j* b- }& U8 k/ ^" Y        Parsing = 'xpath',
        label = {
( r: J/ v- |, K. M            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
# S% p5 y4 y; v, x' G            },
        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
8 g: v' Q5 i; u6 y# |% q3 t        page=[True,"now_url.txt"],
: T4 o  x( _1 A# |! K        #clean=True,
        texting=True,
1 o. ?( ~7 c2 f) `        # 参数如上
4 @& x5 i1 s# b# W        status="between",
' }' U) Q# e0 S+ x        cpu_count=1,
        sem=5,
        ###
$ r" P& R6 A7 Q7 p  q5 T8 Y! ?# B5 X        write_SQL={
1 q9 n& q7 Y* _: _, [            'host':'localhost',
            'post':'3306',
            'user':'root',
            'password':'123456',
2 g  ]( J# p/ f, \. @            'db':'example',
/ Q! h' h5 ]& ~6 i            'table':'example'
            }
, K# s" k% H! u: K2 M).run()

9 m7 Z( D5 X) P; s
功能介绍完毕🤞
最后还是希望你们能给我点一波小小的关注。
奉上自己诚挚的爱心💖
* K" M) b' T0 S, S2 R% j% |————————————————
" t( l! H( n" c7 U  J版权声明：本文为CSDN博主「꧁༺北海以北的等待༻꧂」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
& S, {* @, X+ O原文链接：https://blog.csdn.net/qq_45414559/article/details/106005684

738391227

66666666666666666666666666666