Python爬虫仅需一行代码----crawl第三方库

zhangtt123

仅需一行代码写爬虫–simple_crawl
simple_crawl
0 Q. U6 K* u1 @" \3 D8 R0 j# @仅需一行代码即可达到爬虫效果
1 }4 z$ P. A; S- w5 u- s: K; a项目地址(欢迎star):https://github.com/Amiee-well/crawl
使用方法
. M) K4 s3 w, E4 m- S8 \pip install simple_crawl

5 K/ z: u8 \# v### 以下源代码为简单介绍,详细功能介绍再源代码之下
! @( ^1 j, G9 G" x- Kfrom simple_crawl import request
8 X% \% P; S3 C1 }' r& D4 k0 F+ Hrequest.parse(
        # status 参数为运行状态,支持单线程多线程多进程协程以及联合
        status="aiohttp",
7 p! X# o$ A% c/ g* @% h5 g3 j7 y        # url 参数为爬虫网址,单线程状态为字符串格式,特殊状态为列表格式
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        # login 参数为获取登陆信息,如淘宝等网址需要登陆信息
    #login="taobao",
    # type_url 参数为返回源代码格式,支持text和json,默认返回text
9 {8 ]- A9 L' W/ K6 M3 _7 \0 J/ R    type_url = "text",
' H0 e/ X% L8 e8 h6 X" b" P5 [    # Parsing 参数为解析方法,支持re、xpath和beautifulsoup
2 Y5 H# [4 |: W7 O    Parsing = 'xpath',
    # label 参数为爬虫解析过程,字典格式,详情见下方
    label = {
# y% ^7 _% Q4 e0 @            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
# n* k: [) S1 }% w# `, E, `            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
, \, t6 ^8 E. O% c' c& G     },
     # write 参数为爬虫结果保存,支持txt、csv、pkl、json,注:特殊状态爬虫信息容易混乱
5 t6 f/ L# j5 l     write='result.txt',
, {5 e: L5 _, F     # next_url 参数为下一页爬虫地址,@必须为href,仅支持单线程爬虫
, ^& D5 R+ ~: ?     next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
     # page 参数为断续笔记,第一个参数是否启用笔记,第二个参数选填默认page.txt,仅支持单线程爬虫
     page=[True,"now_url.txt"],
     # clean 参数为是否进行数据清洗,防止大量爬虫收集无用信息
. m1 M  e' [: t& ~     #clean=True,
3 B3 L8 R8 _, G8 h7 z     # texting 参数为是否选择连续爬虫,避免爬虫过程中出现非代码问题报错结束爬虫程序
     texting=True,
     # Thread_num 为多线程数,默认为1单线程,支持多线程状态和异步状态
* [+ f' |, ~3 v: R) r     Thread_num=3,
$ A4 S; [4 P$ ~- j, V     # cpu_count 为多进程数,默认为1单进程,支持多进程状态和联合状态
     cpu_count=1,
     # sem 为异步控制数,默认为5同时启动,支持异步状态和联合状态
     sem=5,
! \3 j3 Z+ `/ ~. q( I, H2 M     # write_SQL 为是否写入数据库,默认否
     # host 参数默认localhost
     # post 参数默认3306
  R+ N% \; V- a6 C- q) R     # user 参数默认root
& [* a$ i" R" h* g& t' O     # password 参数必填,必须正确
     # db 参数为即将存入的数据库名,若不存在自动创建
     # table 参数为即将存入的数据表名,若不存在自动创建
- ~( Y- n8 I7 `0 p& L2 O     write_SQL={
         'host':'localhost',
* m# S2 S$ y& i' h         'post':'3306',
         'user':'root',
1 V) L0 C1 S# u: n' p  b: i' ?4 M         'password':'123456',
         'db':'example',
         'table':'example'
3 R8 @$ M' e! k- l& h( W      }
).run()

介绍一下crawl参数设置：

'''
4 y2 ~3 _7 l; K. ?4 x3 X单行代码爬虫程序执行
9 \/ Y2 |, X6 A7 J* J% ]) z! L:param status:启用爬虫类型,支持普通爬虫、多进程爬虫、多线程爬虫、异步爬虫、异步多进程爬虫,参数请参考文档
+ ^- H- g! M" p! g+ J:param url:即将请求的url地址,仅支持get请求
$ Z% t( |* A" R) @% N) ^3 ^+ c8 ^:param type_url:请求url后返回格式,支持text和json格式返回
:param Thread_num:即将启动多线程个数,默认为1单线程
:param sem:协程信号量,控制协程数,防止爬的过快,默认为5
* h. z& r: m4 ^:param cpu_count:运行爬虫使用多进程cpu核数,默认为系统核数一半
' n' s1 t9 C) S- }6 _:param login:模拟网站登陆,保存登陆信息
4 d: u" g  P% V9 E/ o:param Parsing:爬虫方式,支持re、xpath以及bs4方法
& w( W' M, v$ t4 ^% R:param texting:是否启用连续爬虫,爬虫程序异常报错后重新启动爬虫,
, P$ G$ Y; y4 c* z                       多次报错结束程序,默认否
( p5 |7 M" ]6 p5 Q:param label:选择器内容,字典格式保存,
                     字典值为列表格式,第一个参数为选择器,第二个参数为转换类型
                     第一个参数必填,第二个参数默认str类型
9 G/ y- C6 J: s! K% H:param write:是否写入文件,支持txt格式、csv格式、json格式以及pkl格式,默认否
:param next_url:是否跨页爬虫,选择器内容使爬虫继续翻页爬虫
% Z2 \1 k6 T" P& Q) S:param page:是否选择断续笔记接手下次爬虫处理,默认否
:param clean:是否进行简单类型数据清洗,默认否
:param write_sql:是否写入数据库,默认否
                         'host'默认为'localhost','post'默认'3306','user'默认'root',
" ^" s9 n) W. z, P) ]  V& I                         'password':'密码','db':'数据库','table':'数据表',
. }6 g* n4 N1 Z% @" t                         检测库是否存在,若不存在则创建,若存在则直接插入,
  B2 C8 M6 g' p; w7 ?                         检测表是否存在,若不存在则创建,若存在则直接插入
5 g* N0 C' B' W) ]) O:return True
'''
介绍玩法
接下来介绍的均为调用第三方库的情况下运行：

  i0 a5 u/ l: tfrom simple_crawl import request
) P$ e  ~$ M  t2 H/ T- j" {第一种玩法：输出源代码
1 h" ?3 c5 b  U* i6 U0 z调用requests库进行源代码请求。

特点：
" i; _! x' U  k* |* v* J请求失败则调用ip池处理重新请求访问，
& E$ Z4 `7 N7 f! o# I8 @出现五次失败默认网址输入错误。
& h  ~' P7 }& Z; N支持text以及json字符串返回。默认text。

缺点：
" B5 `8 e& u1 q# o2 [! ]+ e7 l5 w. o# d暂时只能进行get请求，不支持post访问
2 h  `% E; m; c- m+ j: w
- H% t, M/ J* c, K：return text or json
6 {8 I8 a; j$ w* W6 `% U
request.parse(
. Z2 k( x3 N: a; y        url = "https://www.douban.com/group/explore",
        type_url = "text"
& @; w; G5 S9 e8 B9 k6 r).run()
4 r6 Q0 i; B* O4 G4 x# return text

第二种玩法：模拟网站登陆并保存信息
调用DecryptLogin库请求登陆访问。
- V) |1 f: c/ a- K- |$ w
ps：DecryptLogin库为大佬皮卡丘写的一个很不错的模拟网站登陆库，在此引用一下，因为单行爬虫原因不支持账号密码登陆，我将大佬写的二维码登陆使用过来了。再次感谢大佬开源
, D  ?9 v8 g5 q. C在此放出文档地址
DecryptLogin库中文文档：https://httpsgithubcomcharlespikachudecryptlogin.readthedocs.io/zh/latest/
% N- ^! r0 ?* b+ u3 f* ~
特点：
' Q  ?3 N8 n+ M6 J$ H" x将DecryptLogin库中二维码继承到此库（非二次开发）
支持QQ群、QQ空间、QQ安全中心、淘宝、京东和斗鱼登陆（大佬登陆库中所有的二维码登陆）
; M! C  A# C( _7 _; B# r& v# K保存session.pkl信息到本地方便下次登陆运行

缺点：
# O- m" y0 h. @/ Y. j9 A& N9 I  Hsession.pkl登陆信息过时无法自动删除。
" ?, a/ {1 G) t3 x( {4 ~6 Q导致下次登陆疑似cookie无法正常登陆。

:return session

request.parse(
  z" @# x5 _, _2 H6 o        # 臭不要脸的推广一下我的店铺
$ x2 {# r- N3 f: ^0 t, e        url="https://shop574805287.taobao.com/",
        login="taobao"
' L! l+ A' _7 y8 y: l/ u).run()
# return text
- f$ J" K- Y1 _# j5 S, B* x# C
第三种玩法：爬取网站信息
: \  U) Z9 F" q" g7 x: R2 x% r爬虫库自然少不了爬虫的过程

; V( Y& M' g1 ], w) Q  e特点：
% F6 ~, h* k9 W6 ]7 l4 t, r( b支持re库，xpath解析以及bs4选择器。
爬取方法为字典格式。单方面输出。
字典键为保存的字段名称。
/ ]8 K4 H& ~, h. s字典值为列表格式：第一个参数为选择器，第二个参数为转换类型。第一个参数必填，第二个参数默认str类型。
# _$ A1 T1 u# Y+ f$ ^$ I/ E" n; M$ u( y
缺点：暂无（等待小伙伴们发现）

) T/ B8 O7 P. w：return reptile_results

6 b, [: [" |# a; P! h: prequest.parse(
9 W8 t0 F3 D9 {        url='https://www.douban.com/group/explore',
. G& c. }% X1 ]  I7 B        # 字符串格式,选择器方法。
    Parsing = 'xpath',
& _+ a, T8 J8 f9 `6 Y    # 字典格式,参数如上。
    label = {
1 Z- j& }- h# m# k$ V* Q        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
4 ?& P( C# L8 m; D& Y        }
).run()
/ Q( v6 {1 l$ ~+ T4 A' {/ p) T( P, @1 y( h( S# return reptile_results（list）
' i% @; s  e: s
第四种玩法：自由保存信息
6 i% `. ^- E/ D: W$ _, M目前版本支持保存txt、csv、json以及pkl四大主流文件。日后版本更新将发布更为全面的保存方法。

特点：
写入文件均为数据格式传入文件。
- _# a3 z( m# q& y" j: G) H4 o且输入格式规范方便阅读and省事。
) c% g  N1 u$ r! K+ D( P
- {) c0 H, ]0 _2 K2 E缺点：
保存格式仅四种，
% s# i$ [/ _; o' j8 [/ s不方便用户之后读写操作。
" B+ v. g2 @' I( Y" U* `# q2 x# c
：return file
$ s% }6 Y# v/ S( U" R" v7 ^
8 O& U- t7 D& ~request.parse(
        url='https://www.douban.com/group/explore',
    Parsing = 'xpath',
    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
: j* {4 m% `' `6 O% N        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
1 s; Z, Q1 Q& [7 i& S, K' ?        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
( |6 ]$ `2 K# ^1 v9 k        },
    # 字符串格式,具体保存位置填写
$ P$ R) J& s6 u; o! G% i    write='result.pkl'
).run()
. M, }) k, s0 ~( n9 S# return file

, H2 H6 V; p. X0 S1 {% K) K2 k) i第五种玩法：读取下一页 url 地址继续爬虫
# K- \9 o- r# i这也是每个人都担心的问题，仅仅一行代码怎么可能翻页爬虫。这还真能做到哦~

9 M9 y! B4 k. Z4 R4 d1 Z# \特点：
8 j9 F* q5 Y5 X: C: o8 w) E继承之前的Parsing参数选择器选择方法。
4 O& k1 y. F, ]+ A# W在这里可读取到解析后的下一页 url 网址。
+ {8 ?2 q" W7 ?方可继续进行爬虫处理。方便用户使用。
% M% v% x: h4 Z. n( B' h
1 P0 J% M' k4 s. q; q. B缺点：
6 f- @$ |9 c+ N7 |6 S, V& i( s若爬虫时下一页 url 地址改变，便结束爬虫。
, @8 e' |: ]; }8 ]4 W只能爬取所给 url 地址中的信息。
/ b% k  ?4 N2 {' e无法进行某一界面的多个网页爬取返回。
. p7 b: y8 _3 [. H2 B造成访问页面单一流失。
& Y" U7 z9 ^) K: f1 _" \) W
! C' @) @3 w$ m8 q2 @：return None

request.parse(
        url='https://www.douban.com/group/explore',
    Parsing = 'xpath',
! a  J: v: C$ g. F/ X9 D/ L    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
& ?% b, y' P0 L4 v, A1 O8 v( ?/ s3 q        },
8 a6 ]2 `) _+ M3 j    write='result.pkl',
    # 字符串格式,根据Parsing方法继续请求下一页a中href
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
2 @! l# }" b8 U2 e).run()
# return None
6 g" s  F* I1 I) p- T+ x. S
第六种玩法：爬虫网页保存
& f* U" s8 j5 ^9 S听说过爬虫断续重连的朋友应该懂得这是个什么神仙操作。每次爬虫运行期间好好的，睡一觉醒来发现代码报错了。。。这就是个很难受的事，还不知道之前爬取到哪一页了，只能重新爬虫了啊！

; x" p4 E; p3 k9 M特点：
1 h! Y2 U  L' h+ V! C持续输出断续笔记。
将此次爬虫的 url 地址保存到一个文本文档内部。
下次读取文本文档即可快速进行直接断掉的爬虫 url 地址继续爬取所需。

& F) c: x2 A% X6 i+ Y9 t缺点：
读取内容不单一。
导致下次爬虫无法正确读取上次爬虫留下的痕迹。
9 D+ Y9 O% |( g# y; K
：return url_file
5 E$ s$ K$ x: e; S1 [
request.parse(
" I$ v2 d: i. k, x: d5 D    url='https://www.douban.com/group/explore',
& k. l( Y. H7 e    type_url='text',
: i* m$ o7 P; q( [/ [    #login='taobao',
    Parsing = 'xpath',
    label = {
8 J2 Q& o5 G0 ]+ C' t6 G        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
) l$ K' D2 b' Y9 l$ J        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
2 v" Q) s% \# s! P$ Z8 i: @# `2 ~    write='result.pkl',
* y4 k7 v' y) b0 E" a0 h    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    # 第一个参数为是否需要断续笔记。
    # 第二个参数为断续笔记保存位置。
    page=[True,'url_page.txt']
).run()
# return url_file
& r. `. d3 s* r( |, q- B6 S
第七种玩法：简单数据清洗
数据拿下后，直接保存到本地有些大佬可能觉得很辣鸡，连清洗都不清洗就存入本地了？那得拿到多少废数据脏数据。那么接下来介绍一下清洗参数。

特点：
本人曾写过一个底层数据清洗。
! q; E/ [- }. _) l7 B5 G0 m能将列表格式数据进行归分清洗。
主要内容请参考另一篇文章
4 v2 e/ i- w' P: G3 G如下连接：数据清洗
8 d1 h( h; r6 m! M
3 U3 m# \5 ~7 X- ^" _* H" L; O缺点：
数据清洗格式简单。
数据清洗内容单一。
7 K( k7 C' w. `7 W无法完全做到绝对清洗。
! q( I4 m5 b7 @3 J有待改善。

9 K. m, N1 j% H5 r* j7 z：return keyword_list, value_list

9 a' s, V  u/ [) \) t3 d6 l7 frequest.parse(
    url='https://www.douban.com/group/explore',
4 s" r+ z) E- }5 E    Parsing = 'xpath',
4 b! z$ V9 X' A! H$ `8 p    label = {
9 w( Q9 C- U8 s& D7 |, H* t& I( F        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
8 c/ x6 O" v4 [# ], v' x        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
9 l* {! m3 z" u/ R2 ?        },
1 w" g5 m& R% V$ ?% c5 A1 |6 L  e2 F$ v    write='result.pkl',
9 A9 z! b3 ?  x! U1 g    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    page=[True,'url_page.txt'],
: O3 M8 s2 g/ E    # bool类型,默认不清洗
    clean=True
).run()
2 z- a4 e( s" I) |5 f5 x7 w
第八种玩法：爬虫存入数据库
! I. D" ~, S2 b9 e4 M  `存到txt、存到csv、存到json、存到pkl，那也太low了吧。现在流行的数据库用不了么？那是不可能的。。
  \. Y2 X8 W$ Q( H
特点：
/ x' Z' i& t/ b% s7 r信息存入MySQL数据库。
: T9 d( s1 d  J( z/ f) B; ^9 h2 U可连接docker远程数据库。
- n. D, w7 X, Q5 C. s. U数据库的库名可以不存在。
$ {) X3 A" U- f数据库的表名可以不存在。
根据之前传入字典键与值参数判断表类型。
自由建立数据表传入信息。

% r8 R, @6 s/ ~  a4 R缺点：
仅支持MySQL数据库。

：return SQL

* |3 Z- G( L0 P* krequest.parse(
    url='https://www.douban.com/group/explore',
    Parsing = 'xpath',
    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
$ d5 H$ A4 v) s2 T1 n        },
    write='result.pkl',
0 e# |6 I- ^5 Y2 o7 q3 y$ E    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    page=[True,'url_page.txt'],
3 O! h2 D, C' ~! i( _- l9 j    clean=True,
    # 字典格式,
6 d3 }$ e, R5 U    # host可有可无,默认localhost
; r: N/ p: f- d6 O3 S% u, _! y" Y# R    # post可有可无,默认3306
    # user可有可无,默认root
    # password必要参数,数据库连接密码
    # db必要参数,数据库即将存入的库名
5 D% l; x* R+ M    # table必要参数,数据库即将存入的表名
/ ?$ K- ?: F- e- \/ _" C) c9 W2 U    write_SQL={
        'host':'localhost',
7 M- r2 a4 c& C# X9 X/ ?* H' |        'post':'3306',
1 ]8 {4 d3 {& k# D) q7 D8 F        'user':'root',
        'password':'123456',
( K' z/ S5 c' [2 Y) X        'db':'example',
# Z' x% [) R* ?$ x' n& I/ J- U        'table':'example'
) P$ n6 \/ |& n        }
; B( _4 |+ T: t- @- J: G" c5 X+ i& w) [    ).run()
1 v6 ^; Q5 Y  ^+ ?6 Q0 h
# V- }$ R: q; s: L2 S第九种玩法：重新启动爬虫
爬虫最让人厌烦的就是被一个不痛不痒的错误信息给终止爬虫了，比如意外的远程断开链接等低级非代码错误，报错之后还得重新启动断续爬虫，就显得很麻烦。我做了一期爬虫程序异常报错后重新启动爬虫，多次报错结束程序。

特点：
$ p2 O% x" m( l- l9 o9 D检测报错重新启动爬虫
) _9 F2 o* q0 F无需手动处理错误信息
' E! \( h' j) R* W- Q3 o+ R: ~
  T% K+ u/ R0 D! v: C" s缺点：
无法收集子线程错误。
% L' E% [% D2 k$ J* R! e, L
：return None
" z! A0 G9 h% P
request.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
        type_url = "text",
        Parsing = 'xpath',
        label = {
0 S  t, h1 W7 z2 n3 A3 t            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
; J# J7 {8 z( C6 V+ k# ]5 s            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
' U1 i/ S! }9 v. E% E7 G; m- V! m            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
8 L0 p* A! U. S7 u            },
        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
$ x5 ^6 }% V+ V  i! ?; L9 H! H        # texting 参数为是否启用连续爬虫
1 C& p' S7 T1 S* u- S5 e        # 爬虫程序异常报错后重新启动爬虫
& ~# d3 r! f0 l/ f3 _6 P        texting=True,
9 C( ^5 B1 r$ Q, w        ###
        write_SQL={
            'host':'localhost',
1 L- P' I4 B, R8 l9 ~# e            'post':'3306',
  _9 V  H' J# o, C& W3 d+ F7 N            'user':'root',
            'password':'123456',
5 Z* d, [# E. {0 F5 X& f+ ~% U$ i4 h            'db':'example',
            'table':'example'
- h; K2 N+ g9 C2 }+ I% a  f            }
, F5 i$ L# _4 N. H; O).run()

第十种玩法：多线程爬虫
特点：
+ J7 }2 ?" n! N! p5 a爬虫速度加快，
更好的利用了线程。
& |9 ]2 T4 }9 n9 `! H" g
; t2 a+ L* N. a2 I; u: t2 M缺点：暂无
# _! ]3 I+ [' T% N$ d
：return None
: O1 h' {; D2 }1 v% u' t
0 H8 w/ A& e4 u# o; H# Prequest.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
0 l7 M1 Y$ L0 A0 z        #login="taobao",
7 q2 H9 H: q& y6 {) C/ T& k        type_url = "text",
9 z' J* Y) w6 e- x9 ]' Z        Parsing = 'xpath',
        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
; k: y" C( j% s$ A1 L1 T        write='result.txt',
! N. G/ J" R% w/ n& |* M6 ^        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
        #clean=True,
        texting=True,
0 p$ W2 I+ L6 ~" a        # status="threads" 启用多线程爬虫
) Y( D7 P( n9 ~2 Z9 H- f        # Thread_num 为线程数目,默认为1 单线程
, K: M  J/ ^+ F' o/ x        status="threads",
        Thread_num=3,
        ###
% k) f8 n4 E! [. O4 |( q        write_SQL={
, U5 h9 n2 `7 ~9 l            'host':'localhost',
            'post':'3306',
            'user':'root',
            'password':'123456',
            'db':'example',
  `5 i% l1 m% c            'table':'example'
+ m5 `' H1 C( m# g; f            }
).run()

% S2 _8 V* B, k* {9 P. s第十一种玩法：多进程爬虫
  k" F/ I  |% T% [. L+ e+ f特点：
爬虫速度加快，
! e. [1 h4 ^" G% H更好的利用了进程。
5 J7 @- T8 x+ P; P! i
& U3 ]. O, S8 ^8 S! S7 v( X/ h% J缺点：暂无

：return None
8 y$ O! U+ e2 ^) |# `& T
1 F+ C( h& u# G( pfrom simple_crawl import request
request.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
; j2 a3 Q6 E$ r% ~/ u. u3 o/ H# F# [        #login="taobao",
$ U+ V1 n/ [3 r, n+ J        type_url = "text",
        Parsing = 'xpath',
# V7 Z1 A% A/ a9 |* E# q        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
, [# q- ^8 S0 ^& L3 y            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
8 f1 m: _. `7 f; [: p            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
  I0 z& H; y# i; B2 V            },
        write='result.txt',
+ @! k9 _& ^% }- V        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
: [' a3 v4 P3 N2 [0 E# L0 F% k5 Z1 Y        page=[True,"now_url.txt"],
        #clean=True,
        texting=True,
# W# V) ^6 r0 u- s$ U        # status="multiprocessing" 启用多进程爬虫
        # cpu_count 为启动代码核心数,默认为系统核数一半
' ~6 i! Q7 I& z$ V        status="multiprocessing",
        cpu_count=2,
        ###
        write_SQL={
            'host':'localhost',
. K5 q% f8 L" l( O            'post':'3306',
" i- n$ V3 l! E1 V- A+ G            'user':'root',
' D8 I' X; D  i8 |6 k7 D, ]7 H( M' M            'password':'123456',
' P5 _4 u$ o. o# r            'db':'example',
) Q9 `2 n. _* b2 |' ~( J            'table':'example'
            }
).run()

6 o: _" Q8 X+ y3 K$ ^, ^) ^第十二种玩法：异步多线程爬虫
! F, D( ^; p( \1 E5 C" S4 f7 N特点：
爬虫速度加快，
9 R3 `6 t' t  N; B异步使得爬虫无等待时间，
0 Y! V- x. h) _, _( k同时使用多线程速度明显加快。

7 U' F% h1 c7 _, A缺点：暂无
! S4 q% f6 x+ H8 j1 o" R- x  ]
! [) W0 Q' p. I& W：return None
7 F7 V6 Q' E, z) |
) k. e  }8 M  V9 lfrom simple_crawl import request
4 L& j5 A8 Q1 q% ?' w. Yrequest.parse(
9 I" j3 d$ K/ |6 I        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
" N+ m9 a: B, [! ~7 c) \        type_url = "text",
- k1 p6 l: p7 P        Parsing = 'xpath',
  |6 q% X; k8 [" h5 t( r! k        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
# i( M5 b/ X8 O  h: O4 @2 T1 H            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
        write='result.txt',
5 \% q6 W% A  Z. p& x( ?, g. v, r+ }" T        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
- v) i7 C: n* j) ~        page=[True,"now_url.txt"],
1 @& q6 e: ?! k" q        #clean=True,
1 ]8 Q0 ^& I2 u5 B' W4 _4 l7 V  N        texting=True,
7 _0 {' k% l% h" f        # sem 参数为异步引擎数目,默认为5
" n+ A: G& U* `" o' t        # 其他参数同上
        status="aiohttp",
        Thread_num=3,
        sem=5,
        ###
        write_SQL={
) ]" @0 p( \: f* C6 F& i            'host':'localhost',
            'post':'3306',
            'user':'root',
            'password':'123456',
            'db':'example',
            'table':'example'
            }
).run()
, m# K7 F( @' K! r# P
2 g/ C1 M0 M6 Y: \1 I3 u第十三种玩法：异步多进程爬虫
- x9 \/ y6 P/ ]' O% Q特点：
爬虫速度加快，
异步使得爬虫无等待时间，
同时使用多进程速度明显加快。

缺点：暂无

1 C- Q2 J! x! d. p：return None
. F, Z8 l& e/ h% p8 E- s/ T
from simple_crawl import request
request.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
8 F. S+ S2 R) k9 Q. s        #login="taobao",
        type_url = "text",
        Parsing = 'xpath',
1 r& T- ~. d( Y  S& ]  g5 F        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
8 G+ y+ o4 I! T            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
4 h4 f# b" c& G' J8 Q+ V+ M: k0 E/ @            },
# [) d/ C  r" `8 F+ ~        write='result.txt',
/ ~# K, e& H- s7 L3 u2 V9 h. K        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
. L* m8 Z- D( r- J. W        #clean=True,
( G6 B/ H. L: X2 N4 \        texting=True,
5 p# b1 J4 }3 p+ ~" R* ?7 W2 V  G        # 参数如上
        status="between",
+ ~- B2 a; I0 k  d0 i" C" @1 r        cpu_count=1,
        sem=5,
5 ~0 R8 X3 G1 D% E5 o; W: Z+ a        ###
$ }0 e, o- ?7 `) @) G        write_SQL={
            'host':'localhost',
0 r1 G# `7 p4 q7 h! B! _            'post':'3306',
            'user':'root',
            'password':'123456',
- o+ B) m$ G1 _+ [$ f' {3 H% D: j" j            'db':'example',
            'table':'example'
" f; _/ S; j3 H' f+ j            }
( T6 C+ Y9 z3 b- B3 o).run()
3 \/ e& `, z! n* Q$ t$ B. J  V+ `
0 D) o6 S* Q) b# V" w$ ]
功能介绍完毕🤞
3 [5 O7 [1 {. y0 B7 e最后还是希望你们能给我点一波小小的关注。
奉上自己诚挚的爱心💖
————————————————
2 _0 {% Q$ u5 ~版权声明：本文为CSDN博主「꧁༺北海以北的等待༻꧂」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
6 E' K# i6 {6 X- x) X% t原文链接：https://blog.csdn.net/qq_45414559/article/details/106005684
' i' q, I  p/ i
( j9 t( ^: W" g' p2 W
3 q+ D! _: u' [6 t; f& n

738391227

66666666666666666666666666666
7 C$ L- K1 ?+ U- e