Python爬虫仅需一行代码----crawl第三方库

zhangtt123

仅需一行代码写爬虫–simple_crawl
simple_crawl
仅需一行代码即可达到爬虫效果
2 @% q, Q# ?( F5 M7 @5 H项目地址(欢迎star):https://github.com/Amiee-well/crawl
5 D) `8 H) O' B! Z6 h9 ]) o5 j使用方法
8 u* U, b: G  Y$ n4 ~; Rpip install simple_crawl

  U; P2 F, i. q1 ~, q### 以下源代码为简单介绍,详细功能介绍再源代码之下
0 K* T; j9 ]" I- o$ G$ Vfrom simple_crawl import request
- V5 {# }- t1 Nrequest.parse(
. o( ?9 V) v- V* R( N2 n. k2 o, p# ~        # status 参数为运行状态,支持单线程多线程多进程协程以及联合
        status="aiohttp",
        # url 参数为爬虫网址,单线程状态为字符串格式,特殊状态为列表格式
) u! n9 s) V0 u6 @        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
; j$ f8 m+ _# z& H6 n! X9 s& S        # login 参数为获取登陆信息,如淘宝等网址需要登陆信息
    #login="taobao",
8 g+ S- l5 v& y6 J5 M; [0 E    # type_url 参数为返回源代码格式,支持text和json,默认返回text
+ M& y3 W4 K: k7 j& F! N1 G    type_url = "text",
    # Parsing 参数为解析方法,支持re、xpath和beautifulsoup
& p5 C  D  S  c; U; P( d    Parsing = 'xpath',
( x: q' ]7 U/ v1 \: G    # label 参数为爬虫解析过程,字典格式,详情见下方
8 i1 j' H: S- }) l& W' {    label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
     },
( O7 y: Q- n0 P  B; x) `     # write 参数为爬虫结果保存,支持txt、csv、pkl、json,注:特殊状态爬虫信息容易混乱
( r4 b( S/ `1 l& E- w$ d$ E     write='result.txt',
     # next_url 参数为下一页爬虫地址,@必须为href,仅支持单线程爬虫
     next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
) ^. m7 Y% C  C8 q& L     # page 参数为断续笔记,第一个参数是否启用笔记,第二个参数选填默认page.txt,仅支持单线程爬虫
3 U) {2 L# |! |) u& V" M7 T     page=[True,"now_url.txt"],
     # clean 参数为是否进行数据清洗,防止大量爬虫收集无用信息
- z1 k/ V4 z6 Q1 M+ `: O" C8 _     #clean=True,
     # texting 参数为是否选择连续爬虫,避免爬虫过程中出现非代码问题报错结束爬虫程序
; a( `; h: o' _) i) J  k( n     texting=True,
3 V. `5 r2 ?! ?4 _     # Thread_num 为多线程数,默认为1单线程,支持多线程状态和异步状态
7 ?3 ^" Y* W$ A& K! z9 x0 W     Thread_num=3,
     # cpu_count 为多进程数,默认为1单进程,支持多进程状态和联合状态
: o7 e/ o- Z, Y     cpu_count=1,
! V7 G: f( y( Y5 \8 H6 {/ |! ]     # sem 为异步控制数,默认为5同时启动,支持异步状态和联合状态
1 X5 K' D" T& e$ d2 N# J% J     sem=5,
( n  ]- `; v5 X* Y5 z     # write_SQL 为是否写入数据库,默认否
( \) v4 @' x, L) Y* }     # host 参数默认localhost
     # post 参数默认3306
     # user 参数默认root
3 K4 L2 r+ B: u# d) L2 @     # password 参数必填,必须正确
     # db 参数为即将存入的数据库名,若不存在自动创建
     # table 参数为即将存入的数据表名,若不存在自动创建
     write_SQL={
         'host':'localhost',
* J- F& W, K- I         'post':'3306',
; {% O# p5 ~# k- j% _! [         'user':'root',
/ X# Q: Z0 u* {- e1 s! @& l( b         'password':'123456',
         'db':'example',
         'table':'example'
      }
" ?0 H& c! [! A; @: g, q% Y1 f).run()
3 p- `' D8 L1 p' z
! x+ Z5 X  A! b  }9 u) a+ K. {2 b介绍一下crawl参数设置：

'''
& \6 y9 a7 q4 f; k$ j单行代码爬虫程序执行
:param status:启用爬虫类型,支持普通爬虫、多进程爬虫、多线程爬虫、异步爬虫、异步多进程爬虫,参数请参考文档
* ~  Z- D# |8 L9 b' _:param url:即将请求的url地址,仅支持get请求
2 J; t' K0 h) H& K* L:param type_url:请求url后返回格式,支持text和json格式返回
+ P$ n' P6 B- t- E6 d:param Thread_num:即将启动多线程个数,默认为1单线程
4 U6 z  o" E( y2 q:param sem:协程信号量,控制协程数,防止爬的过快,默认为5
:param cpu_count:运行爬虫使用多进程cpu核数,默认为系统核数一半
:param login:模拟网站登陆,保存登陆信息
5 W, f. G  p) f:param Parsing:爬虫方式,支持re、xpath以及bs4方法
; v$ I4 [5 k& Z5 H) g2 n! X6 O:param texting:是否启用连续爬虫,爬虫程序异常报错后重新启动爬虫,
                       多次报错结束程序,默认否
" \) I% h  o0 f8 Q" v:param label:选择器内容,字典格式保存,
                     字典值为列表格式,第一个参数为选择器,第二个参数为转换类型
                     第一个参数必填,第二个参数默认str类型
:param write:是否写入文件,支持txt格式、csv格式、json格式以及pkl格式,默认否
% F! C* u! T* B6 _:param next_url:是否跨页爬虫,选择器内容使爬虫继续翻页爬虫
:param page:是否选择断续笔记接手下次爬虫处理,默认否
4 n* C& r4 l* ^/ X$ w:param clean:是否进行简单类型数据清洗,默认否
" i$ R& G* _# i5 s. s  S+ E3 U:param write_sql:是否写入数据库,默认否
9 `% Y' G4 d+ ^' A                         'host'默认为'localhost','post'默认'3306','user'默认'root',
                         'password':'密码','db':'数据库','table':'数据表',
4 x7 E2 s$ I7 z/ l8 v* G                         检测库是否存在,若不存在则创建,若存在则直接插入,
                         检测表是否存在,若不存在则创建,若存在则直接插入
0 y( r5 T% e, G, J% W: o:return True
'''
0 X2 Z5 x8 {* u- t& R介绍玩法
) V6 i5 ^+ K5 O# I+ y接下来介绍的均为调用第三方库的情况下运行：

6 X0 d- C. |" B9 _from simple_crawl import request
: l/ b! q- A5 j2 w第一种玩法：输出源代码
$ X, H) m# y2 r9 G+ ]5 H4 C调用requests库进行源代码请求。

特点：
请求失败则调用ip池处理重新请求访问，
出现五次失败默认网址输入错误。
' C3 m9 s0 k. q1 q- m% `4 V支持text以及json字符串返回。默认text。

  i& J' B! l9 t& v缺点：
/ ], C# |& z  Z% b7 N/ x5 s+ Z暂时只能进行get请求，不支持post访问

：return text or json

8 e% [1 I9 h# w1 brequest.parse(
3 T' r3 [, l% w. H( [        url = "https://www.douban.com/group/explore",
$ K2 H; |1 L5 B- `        type_url = "text"
).run()
% j; l5 V' K2 _# return text
  C; f$ h, }& e( r& D6 p
第二种玩法：模拟网站登陆并保存信息
0 P# J2 p. m! C  T% c( ^8 m$ B调用DecryptLogin库请求登陆访问。
( B  O7 j; C) [/ a
" u$ J/ X' ^7 m  Nps：DecryptLogin库为大佬皮卡丘写的一个很不错的模拟网站登陆库，在此引用一下，因为单行爬虫原因不支持账号密码登陆，我将大佬写的二维码登陆使用过来了。再次感谢大佬开源
在此放出文档地址
DecryptLogin库中文文档：https://httpsgithubcomcharlespikachudecryptlogin.readthedocs.io/zh/latest/
+ t+ H- k3 y3 r6 P
$ m5 q8 K+ Q2 W( X) A特点：
/ O2 |+ G" I1 d, K将DecryptLogin库中二维码继承到此库（非二次开发）
" P2 \( |1 u3 @$ F支持QQ群、QQ空间、QQ安全中心、淘宝、京东和斗鱼登陆（大佬登陆库中所有的二维码登陆）
保存session.pkl信息到本地方便下次登陆运行

5 V5 a9 l8 ^6 |2 e: q缺点：
: F2 n4 `: ~  \9 l( ?7 [' Ksession.pkl登陆信息过时无法自动删除。
2 @" p' r/ L9 f9 F导致下次登陆疑似cookie无法正常登陆。

5 T7 Z# p) N) g& E+ o:return session

request.parse(
& ], C' X1 ]' j1 r: R- j* j' X        # 臭不要脸的推广一下我的店铺
        url="https://shop574805287.taobao.com/",
        login="taobao"
4 ~2 ^! d4 g/ q5 H3 x1 C- O).run()
& {; }0 D+ D6 E! v' l* I# return text

第三种玩法：爬取网站信息
. X" E% I# d0 i爬虫库自然少不了爬虫的过程
& `" D6 |. i( a7 ?! o5 B
& W! Y8 b) g( {; h1 I特点：
3 j/ W4 q" q2 x' a; K/ o3 a支持re库，xpath解析以及bs4选择器。
# f/ z: A! p3 F. u7 Q  c爬取方法为字典格式。单方面输出。
# W/ ?5 j! ~0 T7 O% C+ ~字典键为保存的字段名称。
字典值为列表格式：第一个参数为选择器，第二个参数为转换类型。第一个参数必填，第二个参数默认str类型。

; d" [& y! g' U/ g缺点：暂无（等待小伙伴们发现）

1 x6 s9 n. ^' @：return reptile_results
9 E! `2 f! P5 F! o* ]
+ l0 J# b2 t2 g7 srequest.parse(
        url='https://www.douban.com/group/explore',
        # 字符串格式,选择器方法。
1 }8 X8 I4 v+ Q    Parsing = 'xpath',
' X+ f4 N2 `& R: ?8 \- x" t- B8 Z    # 字典格式,参数如上。
    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
1 x: A- ~5 _7 S4 h9 W8 W/ z# u% Z- y        }
, ]* J/ W! f/ G" N* C" Z# I).run()
# return reptile_results（list）
$ o! H3 E3 U" r0 r* \2 S! ?
- i1 ~* i# k+ G0 \3 S第四种玩法：自由保存信息
目前版本支持保存txt、csv、json以及pkl四大主流文件。日后版本更新将发布更为全面的保存方法。
1 s0 E# I9 M0 H2 ?3 S/ o7 A
7 _+ c! `$ D8 e7 C2 F; B2 X. Y特点：
% X4 `3 ]' r- ~1 d& m& ?, k5 u写入文件均为数据格式传入文件。
; v$ k9 G3 O! `+ n) b0 Q$ c* N% X9 N且输入格式规范方便阅读and省事。
6 C, ~( e5 B% x2 R
缺点：
保存格式仅四种，
不方便用户之后读写操作。
+ I, Z; `. ~  ]* ?% o; O# T/ {
5 ?; m+ y* P% D5 g9 G0 N+ X" T：return file
& R' Y+ p: l( K* }& w
& B' u5 b' T0 R. J. {0 R$ Q, prequest.parse(
  a, s" B# x" [. V5 x8 @% u        url='https://www.douban.com/group/explore',
' H- a  [! S' J3 V) m5 L' J$ i    Parsing = 'xpath',
    label = {
3 T  l6 e/ x9 _9 E* ?6 _        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
. s, p7 o* a! U        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
    # 字符串格式,具体保存位置填写
' h+ X7 N4 W. \8 f2 |    write='result.pkl'
).run()
: I7 g. p. c. `( H# return file

第五种玩法：读取下一页 url 地址继续爬虫
6 i8 j/ N$ {  j" D这也是每个人都担心的问题，仅仅一行代码怎么可能翻页爬虫。这还真能做到哦~

特点：
继承之前的Parsing参数选择器选择方法。
. S! ?' C# p9 g3 z" _3 ^在这里可读取到解析后的下一页 url 网址。
) n" H, C% u6 x9 a$ e) {6 x0 Q方可继续进行爬虫处理。方便用户使用。
2 w/ [( c) ~4 u9 l
缺点：
若爬虫时下一页 url 地址改变，便结束爬虫。
2 ~, n( V4 }/ u- O+ U0 j只能爬取所给 url 地址中的信息。
$ e% b+ b4 L* F5 [) s6 Z2 c无法进行某一界面的多个网页爬取返回。
8 w0 T& `. g2 o2 Q; K8 x造成访问页面单一流失。

2 c( K, s% @$ W：return None

* Z; V; c# h2 c1 T2 Qrequest.parse(
        url='https://www.douban.com/group/explore',
  y9 x6 W& F9 T6 k2 `    Parsing = 'xpath',
2 y2 ]& K5 w% ^* |    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
5 V2 Q# p/ U7 y1 ?9 R* }4 A# V% T        },
    write='result.pkl',
+ h3 |9 j# C6 }: L& t/ Q    # 字符串格式,根据Parsing方法继续请求下一页a中href
2 O  m+ K! A4 l' z) x! K. C* x/ Y    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
).run()
# return None
8 }' v% P. ]8 a( Q. H% _" s
, q6 F2 Q! D# ]- h2 j8 a& ^第六种玩法：爬虫网页保存
+ f" J: ~) K$ x! o8 X9 O听说过爬虫断续重连的朋友应该懂得这是个什么神仙操作。每次爬虫运行期间好好的，睡一觉醒来发现代码报错了。。。这就是个很难受的事，还不知道之前爬取到哪一页了，只能重新爬虫了啊！

特点：
持续输出断续笔记。
; Z  `- X4 [5 Z4 Y3 Q将此次爬虫的 url 地址保存到一个文本文档内部。
+ D1 t  \2 A" D* ^' q8 h0 N1 Z% p下次读取文本文档即可快速进行直接断掉的爬虫 url 地址继续爬取所需。

缺点：
读取内容不单一。
9 t* R4 {1 `$ s4 k# n5 u导致下次爬虫无法正确读取上次爬虫留下的痕迹。
. l0 i8 h/ Y) N2 P' w! r
：return url_file
) q  A' @1 S! t. W- a) t
$ V- f7 C; ^/ V/ Drequest.parse(
# ]- g8 |" o7 I' W5 ^& H5 I    url='https://www.douban.com/group/explore',
    type_url='text',
3 ?: e. h! b: O/ Z! o    #login='taobao',
    Parsing = 'xpath',
    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
- i" A! ]  k3 n: k. v2 X7 m; a2 R        },
    write='result.pkl',
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    # 第一个参数为是否需要断续笔记。
" r( b, w# @' ^- @, m    # 第二个参数为断续笔记保存位置。
; _. m. {" F( e( |2 b6 ~; b4 a* M    page=[True,'url_page.txt']
).run()
, u8 P1 {9 x) c6 s  t# return url_file
# a8 u, h) d' I1 v& k  W
第七种玩法：简单数据清洗
数据拿下后，直接保存到本地有些大佬可能觉得很辣鸡，连清洗都不清洗就存入本地了？那得拿到多少废数据脏数据。那么接下来介绍一下清洗参数。

特点：
本人曾写过一个底层数据清洗。
能将列表格式数据进行归分清洗。
主要内容请参考另一篇文章
5 E) W; T! O/ E; O+ V如下连接：数据清洗

缺点：
数据清洗格式简单。
数据清洗内容单一。
' C  f. b+ u4 J8 i无法完全做到绝对清洗。
3 o9 w) I; }3 n5 Y# y$ S% m9 c有待改善。
& V  ]2 f* e' l# M5 `3 i
) m* ?1 A  g1 R+ {* m, a) \：return keyword_list, value_list

9 q% T0 k8 R+ X2 s- Rrequest.parse(
    url='https://www.douban.com/group/explore',
" j, L, K7 ~: `' ~    Parsing = 'xpath',
    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
8 u: W* P6 O; \6 J7 c3 _/ l6 f1 A        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
7 g! r. n/ g& S7 Z    write='result.pkl',
4 Y, c3 B! u; [0 R$ y2 X. S    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    page=[True,'url_page.txt'],
" G8 B- L1 v2 N0 E' k, N4 h, k$ ~    # bool类型,默认不清洗
) Y2 v6 f/ y1 ~8 ~2 `* g" p    clean=True
).run()

7 f" i' _8 I6 k( M, j第八种玩法：爬虫存入数据库
1 I/ I9 q5 b3 J7 W  l存到txt、存到csv、存到json、存到pkl，那也太low了吧。现在流行的数据库用不了么？那是不可能的。。
5 [. h9 }0 |7 K  c
特点：
信息存入MySQL数据库。
可连接docker远程数据库。
数据库的库名可以不存在。
数据库的表名可以不存在。
7 ]7 i$ A/ y8 L5 i2 b/ `6 t9 r根据之前传入字典键与值参数判断表类型。
自由建立数据表传入信息。
. }9 x% p" v. \
缺点：
仅支持MySQL数据库。
7 t# u1 U: L! T" Q* c/ H. z- N3 k
4 n6 R8 C! Z& n7 I：return SQL
# i% y+ P$ b/ i7 m( i
request.parse(
    url='https://www.douban.com/group/explore',
$ w3 @: W' }6 m' L% b* F# G$ o    Parsing = 'xpath',
    label = {
  Z3 l5 D. N8 A0 \) W        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
* @3 b& m7 T  S2 n        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
    write='result.pkl',
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    page=[True,'url_page.txt'],
    clean=True,
0 l* B$ l3 c/ l! ]: |' ^5 m  T    # 字典格式,
1 A7 w0 J3 `% E/ M4 Q8 q    # host可有可无,默认localhost
& }+ a4 t% d; P9 \    # post可有可无,默认3306
% K' b9 Z- |+ J8 d    # user可有可无,默认root
    # password必要参数,数据库连接密码
    # db必要参数,数据库即将存入的库名
/ [5 }: `5 O7 T- w    # table必要参数,数据库即将存入的表名
- O4 ~) b8 e5 a( U, @    write_SQL={
        'host':'localhost',
) t- w0 ^8 i* r  A, s+ g" X: J        'post':'3306',
6 D5 D7 ~% x0 |+ @" [$ ?        'user':'root',
: S  p" D  v0 R, y, J1 @! u        'password':'123456',
        'db':'example',
1 t# ]2 C6 ~( z' D& t' u        'table':'example'
        }
, U0 H8 P+ s! R0 m( K    ).run()
9 H6 B# r5 _: U  U$ R+ y
第九种玩法：重新启动爬虫
爬虫最让人厌烦的就是被一个不痛不痒的错误信息给终止爬虫了，比如意外的远程断开链接等低级非代码错误，报错之后还得重新启动断续爬虫，就显得很麻烦。我做了一期爬虫程序异常报错后重新启动爬虫，多次报错结束程序。

特点：
7 z% f$ t/ I/ }检测报错重新启动爬虫
/ I) F% \9 w9 n' {. A无需手动处理错误信息

缺点：
无法收集子线程错误。
/ z" ^% S6 [0 c/ \* N6 v
  `, I! o) n3 b) c$ ~5 h2 e：return None
& R- ?: ?: G- v4 M
request.parse(
7 G8 X, |3 x% Q9 O        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
# x' q% ^% L! m6 }. p" T; o        type_url = "text",
        Parsing = 'xpath',
' {- W8 \" k; y( @+ J0 q4 P        label = {
! o! y9 V, O! q$ L' i9 Q! R            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
" W4 x6 j. j; z/ O" D5 Y            },
9 L  J  R! `6 u' \& f8 G0 n, B        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
/ o! O& w" J. r+ J1 t        # texting 参数为是否启用连续爬虫
) U2 X) I" J0 ]" o        # 爬虫程序异常报错后重新启动爬虫
+ H5 p0 A! R% L        texting=True,
9 p7 K3 T4 G( \        ###
        write_SQL={
9 r( O& G; q. \& ^0 Z+ o' R) a            'host':'localhost',
            'post':'3306',
- J+ T1 i  y  ?- ]! K            'user':'root',
( E9 _4 t7 `; w. r; e+ |* t, S9 [            'password':'123456',
) S0 w) @+ j9 w7 R; n% t( {            'db':'example',
' t8 N0 O4 H) B: G            'table':'example'
            }
. u5 @- f4 ]* L5 L. Z0 @+ G+ l6 o; ^).run()
& ]+ K# T% Q3 S/ t, r; K
第十种玩法：多线程爬虫
特点：
爬虫速度加快，
/ E' ]- Y. \- J, x$ _- j% [更好的利用了线程。

& e% l8 e( e9 ^* A* Z5 f' x缺点：暂无

：return None

request.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
! ]/ w4 l1 T4 m( Q1 J        #login="taobao",
! }  I1 Q1 Q" N; k        type_url = "text",
, g& G' P  z% {2 Y& W* W2 L# J        Parsing = 'xpath',
        label = {
- K/ Y  L( i; d5 J2 Y& P            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
        write='result.txt',
8 J7 ~$ `% f8 E: e& k        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
        #clean=True,
3 `5 c6 x! O! H7 ~5 Q8 k; c        texting=True,
& f4 D. r% b2 Z( B/ j( X        # status="threads" 启用多线程爬虫
  N. m( X1 C9 L$ m        # Thread_num 为线程数目,默认为1 单线程
2 S; @3 D$ `& O7 X* ?        status="threads",
        Thread_num=3,
        ###
7 z! ^; j9 C0 T& U        write_SQL={
            'host':'localhost',
# J) q' [5 G2 ?            'post':'3306',
            'user':'root',
            'password':'123456',
: d6 m/ M) f* t- [            'db':'example',
            'table':'example'
1 F/ p3 t# U; f. G; m: ~            }
).run()
; X  ]$ X# D8 K6 o
. f; Z: i1 }5 r( Z+ P第十一种玩法：多进程爬虫
+ V2 |" c% L8 x- ]( D6 B$ V- a特点：
9 s# `! x/ P4 k- x+ F% I" a, `爬虫速度加快，
更好的利用了进程。
% {4 x( C5 V; k  s4 p5 c
缺点：暂无

：return None
/ ]4 o- Q. c# u
( }0 T0 N! d: z4 M  `from simple_crawl import request
request.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
- v4 r- k  E8 m  h4 z( ^        #login="taobao",
        type_url = "text",
+ }9 T" I* V# ~" A9 R        Parsing = 'xpath',
1 U: u! `' M- H) j        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
0 d& f5 x' n. E* p            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
. r+ [( \* a0 o% @* v$ ?. S            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
- B; v8 K; {* L$ {6 E- Y0 H            },
3 _) o8 p" ^4 ]0 V+ p        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
6 b: Q2 a- T. E) m" B  n0 Y4 ?. ?$ |        #clean=True,
        texting=True,
2 u/ {" v7 ^; s% E8 h/ g- y  n' J        # status="multiprocessing" 启用多进程爬虫
" Q0 T) j3 ?1 y$ L5 c        # cpu_count 为启动代码核心数,默认为系统核数一半
: P! x; w+ |+ `% U% H$ L5 t5 S4 F        status="multiprocessing",
% P5 h" B& w5 m& s        cpu_count=2,
        ###
        write_SQL={
7 x, I/ S- a: _8 C. q+ v            'host':'localhost',
            'post':'3306',
            'user':'root',
            'password':'123456',
, z1 y4 x7 p8 u" p; y            'db':'example',
            'table':'example'
            }
).run()

3 o4 C* H* |9 _第十二种玩法：异步多线程爬虫
特点：
' X. Z' X  {8 Y0 r9 h  m7 k" e) B+ E爬虫速度加快，
6 d  m+ o; p! e, o) I异步使得爬虫无等待时间，
* R( O, O, u4 a( b9 K; S& G4 V同时使用多线程速度明显加快。

缺点：暂无

：return None

& A6 l9 Z2 @9 N7 L9 |+ c: Ffrom simple_crawl import request
- U3 G; h* w9 Vrequest.parse(
- l7 K6 @( O0 t# q4 Z2 C- N        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
! e* n# m$ D5 r  u9 [        type_url = "text",
        Parsing = 'xpath',
" ^2 }# n0 P( I        label = {
/ N( U$ U, q5 X  X: y            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
        write='result.txt',
% r7 a. F/ b0 r7 ]. m) |        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
& J1 _2 \( c/ z        page=[True,"now_url.txt"],
        #clean=True,
        texting=True,
        # sem 参数为异步引擎数目,默认为5
$ F" l: u; x+ N2 J8 s        # 其他参数同上
, w: w. f5 w! \; X! }        status="aiohttp",
) H/ D9 l5 B' Q        Thread_num=3,
0 l: |4 ]) G8 H# b        sem=5,
        ###
% U( D, x2 G6 J" O. {5 X) x        write_SQL={
2 J( N& U( c( V9 I% h! H6 v& V            'host':'localhost',
            'post':'3306',
            'user':'root',
            'password':'123456',
. P, g9 s- I$ t            'db':'example',
            'table':'example'
8 k4 M0 Z) n% f$ k1 w& ]            }
).run()
( I( ~, Q  s( m! @" u
+ I6 @8 o6 |4 C第十三种玩法：异步多进程爬虫
- _* }) t8 b/ C特点：
爬虫速度加快，
7 V# g* K7 p8 ~& U9 G异步使得爬虫无等待时间，
同时使用多进程速度明显加快。
& f4 y/ F' N$ }. ]- ^4 p2 [! F
缺点：暂无

3 o' Y/ m( @" c$ @：return None
/ x: r; o+ J7 x, B  \8 I
from simple_crawl import request
0 {9 e8 d. ?/ F  _% Brequest.parse(
9 e2 W8 J8 X% K( ~8 k& O        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
( ~( J" D( y5 r" K: |- t/ S4 h        #login="taobao",
: z% K2 x% M# y: a        type_url = "text",
7 t1 {1 @9 X& I        Parsing = 'xpath',
$ \2 E3 z3 f( \% E5 ~" b" D+ J        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
2 G. k2 C, N1 k- r' _, k! C# ~- @            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
7 {# _( |" U; e1 L6 z! U            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
# ?, S" Q- W- ]        write='result.txt',
& G& e5 l  x: t% m% O2 s        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
( B7 ~" n: Z* j2 ~, s        #clean=True,
        texting=True,
        # 参数如上
$ y3 a3 f: u/ ?4 }) H& G0 ?  b) F        status="between",
: T& k) X9 A, X        cpu_count=1,
        sem=5,
        ###
2 M. K* J5 y: X4 H        write_SQL={
            'host':'localhost',
( p; E: L1 M$ p+ i+ M            'post':'3306',
            'user':'root',
            'password':'123456',
* D: F1 R1 q0 k2 @! w- N* I7 j            'db':'example',
            'table':'example'
1 h& n/ ?5 \6 [) R2 X/ J            }
4 v0 Y% q3 X) k3 M1 m1 K).run()
7 V; I3 T) S* m) d9 H

功能介绍完毕🤞
最后还是希望你们能给我点一波小小的关注。
奉上自己诚挚的爱心💖
————————————————
版权声明：本文为CSDN博主「꧁༺北海以北的等待༻꧂」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_45414559/article/details/106005684

5 m9 B, l5 D3 ~

738391227

66666666666666666666666666666
  j! V: K2 j2 W  O6 g