Python爬虫仅需一行代码----crawl第三方库

zhangtt123

仅需一行代码写爬虫–simple_crawl
simple_crawl
) l/ X/ |* W) _仅需一行代码即可达到爬虫效果
项目地址(欢迎star):https://github.com/Amiee-well/crawl
6 S$ {5 Q1 @) H/ ?2 l- W' `7 c使用方法
$ p7 Q6 I* U- L6 g- ^" q5 [pip install simple_crawl

### 以下源代码为简单介绍,详细功能介绍再源代码之下
from simple_crawl import request
/ B4 q6 P: K1 {6 M) n9 c" Brequest.parse(
; ~7 M, r8 B! ^! {( r1 D; b& R        # status 参数为运行状态,支持单线程多线程多进程协程以及联合
3 g8 h* c& h' f: K, I0 {# E4 d  m        status="aiohttp",
        # url 参数为爬虫网址,单线程状态为字符串格式,特殊状态为列表格式
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
6 d2 _" V& J* O6 w* Z, O+ M        # login 参数为获取登陆信息,如淘宝等网址需要登陆信息
$ I* N, \) |2 x* |* Z0 S    #login="taobao",
6 Q; I6 ~; `/ G    # type_url 参数为返回源代码格式,支持text和json,默认返回text
7 p1 [! R/ j: |    type_url = "text",
0 m  K+ B4 k8 c' n% Q    # Parsing 参数为解析方法,支持re、xpath和beautifulsoup
    Parsing = 'xpath',
    # label 参数为爬虫解析过程,字典格式,详情见下方
    label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
! r7 s. M  L& B2 B8 r            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
5 ~2 ?' W- Y2 X# X; G     },
: U8 P3 ^; r; ~# _1 _" Y     # write 参数为爬虫结果保存,支持txt、csv、pkl、json,注:特殊状态爬虫信息容易混乱
" ^7 ]$ e5 w3 C" i     write='result.txt',
' A" Z8 X* D9 G  N+ p9 b     # next_url 参数为下一页爬虫地址,@必须为href,仅支持单线程爬虫
     next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
! r; h; ~* {( m) z; ]0 \0 H     # page 参数为断续笔记,第一个参数是否启用笔记,第二个参数选填默认page.txt,仅支持单线程爬虫
6 f& ]" C% A4 |- ^     page=[True,"now_url.txt"],
; j* C. s  d' U     # clean 参数为是否进行数据清洗,防止大量爬虫收集无用信息
& }) v! g$ F& P( N+ X     #clean=True,
     # texting 参数为是否选择连续爬虫,避免爬虫过程中出现非代码问题报错结束爬虫程序
* _2 Y: Q0 f1 n- j& l* z( X     texting=True,
     # Thread_num 为多线程数,默认为1单线程,支持多线程状态和异步状态
* b0 g. ^8 x8 f1 s- b5 w! M+ f     Thread_num=3,
     # cpu_count 为多进程数,默认为1单进程,支持多进程状态和联合状态
) R/ ~1 y9 Y+ ~+ T. a     cpu_count=1,
4 D; K5 m$ N/ O# J     # sem 为异步控制数,默认为5同时启动,支持异步状态和联合状态
     sem=5,
3 {/ M3 e9 w/ c. k     # write_SQL 为是否写入数据库,默认否
- ~% i6 k4 H/ v/ G( r     # host 参数默认localhost
     # post 参数默认3306
     # user 参数默认root
     # password 参数必填,必须正确
     # db 参数为即将存入的数据库名,若不存在自动创建
     # table 参数为即将存入的数据表名,若不存在自动创建
- o( e  z6 K0 H" ~3 P) {     write_SQL={
* h, |$ a* }+ I         'host':'localhost',
         'post':'3306',
9 a' o$ j: J! L: R7 d* N& _         'user':'root',
         'password':'123456',
         'db':'example',
         'table':'example'
4 ^# j! G: x0 j5 x1 M( G* F' d      }
).run()
1 g& n, ^% y  u
介绍一下crawl参数设置：

'''
单行代码爬虫程序执行
:param status:启用爬虫类型,支持普通爬虫、多进程爬虫、多线程爬虫、异步爬虫、异步多进程爬虫,参数请参考文档
) ^+ K& E. E0 B! I/ E0 q! R4 O:param url:即将请求的url地址,仅支持get请求
& c3 u" r! `. M2 k:param type_url:请求url后返回格式,支持text和json格式返回
:param Thread_num:即将启动多线程个数,默认为1单线程
:param sem:协程信号量,控制协程数,防止爬的过快,默认为5
* C  [' |1 f5 Q/ {# K4 W" S: t:param cpu_count:运行爬虫使用多进程cpu核数,默认为系统核数一半
:param login:模拟网站登陆,保存登陆信息
:param Parsing:爬虫方式,支持re、xpath以及bs4方法
- L7 G, c; s: \* L  t) ?9 D:param texting:是否启用连续爬虫,爬虫程序异常报错后重新启动爬虫,
                       多次报错结束程序,默认否
0 c5 ?, x7 d# D- G  c% l:param label:选择器内容,字典格式保存,
                     字典值为列表格式,第一个参数为选择器,第二个参数为转换类型
- @: r5 q2 J- E3 L                     第一个参数必填,第二个参数默认str类型
:param write:是否写入文件,支持txt格式、csv格式、json格式以及pkl格式,默认否
, |; t: O, r9 a6 m, B:param next_url:是否跨页爬虫,选择器内容使爬虫继续翻页爬虫
:param page:是否选择断续笔记接手下次爬虫处理,默认否
:param clean:是否进行简单类型数据清洗,默认否
/ h+ ~2 o: a" Y; b# _2 x: I:param write_sql:是否写入数据库,默认否
4 k2 @9 s" q( k8 w& x: H7 M5 X. d8 q                         'host'默认为'localhost','post'默认'3306','user'默认'root',
3 e% ?- B6 c; l  g; q                         'password':'密码','db':'数据库','table':'数据表',
  H1 j# s+ Z6 ^0 i0 {                         检测库是否存在,若不存在则创建,若存在则直接插入,
                         检测表是否存在,若不存在则创建,若存在则直接插入
:return True
+ K) [" D  c' q'''
& C# a, t& Y) K) t$ k( I. }介绍玩法
接下来介绍的均为调用第三方库的情况下运行：

from simple_crawl import request
第一种玩法：输出源代码
& T- {& D' t1 m$ C' K调用requests库进行源代码请求。
. H) W1 {2 Z9 C# j' D7 t- ^
特点：
% n2 \( t% y, l' I: A: X# s请求失败则调用ip池处理重新请求访问，
0 ]* ^% N: y% {0 M: d出现五次失败默认网址输入错误。
2 j! f; T- r+ g# H支持text以及json字符串返回。默认text。
  @/ Q0 T4 ?3 n$ u- ]" V. ^
7 w; @/ `& _' t9 d7 C/ p! y  |缺点：
暂时只能进行get请求，不支持post访问
* y1 g6 ?; S; r9 D) H% r1 x
* L. }/ b3 R( A- Q; X% a9 b：return text or json

$ Z" T5 M& e( ]1 T; irequest.parse(
        url = "https://www.douban.com/group/explore",
9 L# _' l$ {4 j        type_url = "text"
).run()
# return text

4 _% U# L0 e8 `! a) Y& X第二种玩法：模拟网站登陆并保存信息
调用DecryptLogin库请求登陆访问。
$ s0 w& S% g' r, n8 t) i: {3 P
$ F' `- P3 T0 ]3 p; l- {ps：DecryptLogin库为大佬皮卡丘写的一个很不错的模拟网站登陆库，在此引用一下，因为单行爬虫原因不支持账号密码登陆，我将大佬写的二维码登陆使用过来了。再次感谢大佬开源
在此放出文档地址
# }9 @8 [' V3 P. x7 u& PDecryptLogin库中文文档：https://httpsgithubcomcharlespikachudecryptlogin.readthedocs.io/zh/latest/
$ d+ J& U! x9 E) _
特点：
5 X6 C+ l+ x6 k& P将DecryptLogin库中二维码继承到此库（非二次开发）
支持QQ群、QQ空间、QQ安全中心、淘宝、京东和斗鱼登陆（大佬登陆库中所有的二维码登陆）
保存session.pkl信息到本地方便下次登陆运行
, m( N  y* F1 D! }& z: b. x; {# z9 q
缺点：
session.pkl登陆信息过时无法自动删除。
导致下次登陆疑似cookie无法正常登陆。

* `6 G# v' V6 h:return session
; F  v% z' A, {- D* a
request.parse(
        # 臭不要脸的推广一下我的店铺
+ ?0 c! U0 P$ Q0 s+ D        url="https://shop574805287.taobao.com/",
9 N/ a* k# ?6 M; w3 k3 ~        login="taobao"
& h! u* @7 Z; v* I5 k).run()
# return text
5 `% d' |4 `& O, b+ f' {4 D+ H2 X' N. e" n* p
& i+ T; E& B; J  c第三种玩法：爬取网站信息
爬虫库自然少不了爬虫的过程
, L+ U: v( H; H$ ~$ C
特点：
支持re库，xpath解析以及bs4选择器。
7 f1 D/ h# Z8 K# H- ?5 E( H爬取方法为字典格式。单方面输出。
! f; R3 i+ D. o$ Q7 g字典键为保存的字段名称。
字典值为列表格式：第一个参数为选择器，第二个参数为转换类型。第一个参数必填，第二个参数默认str类型。

缺点：暂无（等待小伙伴们发现）
1 b" q! Z& f- H, r) K( ~% ]/ p
* f3 B8 B. v3 ^" S& d1 g+ T：return reptile_results
7 h4 h4 G7 B" A& }* b* N& s; ]
request.parse(
2 n9 J2 A+ m3 n$ u5 x3 N1 ^- k        url='https://www.douban.com/group/explore',
        # 字符串格式,选择器方法。
. g' [) h# ?- S8 m  [    Parsing = 'xpath',
( c5 B5 P9 @9 \  E' U3 h7 b0 H    # 字典格式,参数如上。
    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
: U( T2 W. |& K5 `, E. t3 k        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
& i! x$ R7 [+ Y7 h& Y  [* B# p: m) `8 h        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
8 v4 w% w0 o1 H9 F3 M        }
& G6 @; N$ p8 `0 Y).run()
* ?+ i* E4 U, ~$ U# return reptile_results（list）
: N$ d1 @9 O2 O! z
第四种玩法：自由保存信息
; a1 M5 I* F( `  K* W/ K( {& f目前版本支持保存txt、csv、json以及pkl四大主流文件。日后版本更新将发布更为全面的保存方法。

特点：
写入文件均为数据格式传入文件。
且输入格式规范方便阅读and省事。

缺点：
保存格式仅四种，
不方便用户之后读写操作。

* r* R; c- [3 t& Z, j; m, j：return file
8 o/ ^. [! w6 L& f% j9 ]
* w$ z5 K$ ^2 ^0 C; p( Grequest.parse(
        url='https://www.douban.com/group/explore',
0 g  b" P2 `- D5 K* {1 j& A    Parsing = 'xpath',
    label = {
$ i' i3 w" {+ ~        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
" M" `& J+ z4 w% P! U" C' z        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
, K, s* R& g7 S* M+ N4 c7 o        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
7 [+ B; I! v# ~# E4 V6 K& I        },
9 J+ M5 m2 K  {* Y    # 字符串格式,具体保存位置填写
! j) q* h3 x5 d" ~    write='result.pkl'
).run()
# return file
2 n' I% h3 N3 ~+ F
, g, _! w  I" O  f, Y- L! \- n第五种玩法：读取下一页 url 地址继续爬虫
这也是每个人都担心的问题，仅仅一行代码怎么可能翻页爬虫。这还真能做到哦~

特点：
继承之前的Parsing参数选择器选择方法。
在这里可读取到解析后的下一页 url 网址。
方可继续进行爬虫处理。方便用户使用。
; R4 ]8 \' t, B$ I) o2 \
缺点：
( W+ p1 D) ]' B% f4 J若爬虫时下一页 url 地址改变，便结束爬虫。
只能爬取所给 url 地址中的信息。
2 k* B& L2 F) h2 a3 R, T$ U无法进行某一界面的多个网页爬取返回。
2 p* P( e6 ^6 W2 _7 `7 y+ i! h造成访问页面单一流失。
# B/ G6 v5 u/ D6 u
：return None

2 h% m" Z  ~9 f% o( q% t& Rrequest.parse(
" ~: @! X5 Z2 M9 S9 R5 a- f* X        url='https://www.douban.com/group/explore',
    Parsing = 'xpath',
    label = {
1 [3 h& ]2 n  f& n: F) s        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
, ^2 }! _0 G" x: X+ S        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
: b- n* A7 ^7 }) g        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
: J" G; _+ K6 s        },
# }+ `) k( L7 e6 [0 @    write='result.pkl',
    # 字符串格式,根据Parsing方法继续请求下一页a中href
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
  Y/ ~! g( _& v0 K* m# f7 p).run()
/ z  T2 F- Y9 X, @7 Y: V# return None

第六种玩法：爬虫网页保存
# I! x( X0 s5 m8 G听说过爬虫断续重连的朋友应该懂得这是个什么神仙操作。每次爬虫运行期间好好的，睡一觉醒来发现代码报错了。。。这就是个很难受的事，还不知道之前爬取到哪一页了，只能重新爬虫了啊！
; [2 ~2 q8 H- B/ {9 c" V
特点：
持续输出断续笔记。
( Z; U- E+ \5 m3 e# w将此次爬虫的 url 地址保存到一个文本文档内部。
, _8 ^$ L! }( A2 p% G: Z/ H4 c3 n下次读取文本文档即可快速进行直接断掉的爬虫 url 地址继续爬取所需。
$ j# u3 P3 P9 u; K, z
缺点：
+ q) ?  [7 |! f; Q读取内容不单一。
导致下次爬虫无法正确读取上次爬虫留下的痕迹。

7 n& M4 M7 Y( B+ B  e0 R：return url_file

request.parse(
    url='https://www.douban.com/group/explore',
: I+ s& C( j) B3 K    type_url='text',
    #login='taobao',
    Parsing = 'xpath',
0 f$ C9 l0 P1 Z9 X4 u( E, r+ w    label = {
( Z0 W& D, b! ^- c        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
$ y9 p8 R1 h: u: s% C0 W4 r" C$ v        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
# \/ y  _; K! P# X) M+ q  n/ l. r% f( g    write='result.pkl',
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    # 第一个参数为是否需要断续笔记。
    # 第二个参数为断续笔记保存位置。
    page=[True,'url_page.txt']
).run()
# return url_file
% S6 H8 _: v/ ^/ ]! }
第七种玩法：简单数据清洗
数据拿下后，直接保存到本地有些大佬可能觉得很辣鸡，连清洗都不清洗就存入本地了？那得拿到多少废数据脏数据。那么接下来介绍一下清洗参数。

特点：
本人曾写过一个底层数据清洗。
. e4 u8 y: }5 b4 T1 @能将列表格式数据进行归分清洗。
" z5 J- {* Y3 j6 \2 ^  m$ f: k主要内容请参考另一篇文章
9 k7 C& P9 E$ i如下连接：数据清洗

缺点：
; ?" l" w! M+ |- o# t1 ]- Q  w数据清洗格式简单。
数据清洗内容单一。
无法完全做到绝对清洗。
6 a0 P( n2 H. [* u有待改善。
' v' c9 f& E; _1 s
：return keyword_list, value_list
9 n2 M' h  z6 n  v2 A' P3 S2 ~
% P! M) y4 y! M; H, A; Crequest.parse(
    url='https://www.douban.com/group/explore',
) X9 R% \% |" `7 g/ o, R( @% q    Parsing = 'xpath',
    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
( ?8 ?& X* T& S8 h# v        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
. T- @4 r1 w: ^( ^! ]        },
    write='result.pkl',
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
, X- `+ o" r& @- E3 K    page=[True,'url_page.txt'],
    # bool类型,默认不清洗
- ?" W7 y5 ^5 p- h/ S7 g. O+ H    clean=True
1 j6 B' x  {" d' O  G, f).run()
# ]; A) b+ d* m
% X( }) b9 i; X. G# g  g; b# b/ ?第八种玩法：爬虫存入数据库
1 z) X5 |7 B: [  r. \. p存到txt、存到csv、存到json、存到pkl，那也太low了吧。现在流行的数据库用不了么？那是不可能的。。

1 r0 t% ?( u' J) W特点：
# [$ i5 g7 b1 d+ R5 X' R4 l信息存入MySQL数据库。
% c/ \5 m$ T! Y, T- D可连接docker远程数据库。
. b6 V, i7 B7 \7 C/ x  W, l" T数据库的库名可以不存在。
数据库的表名可以不存在。
% m6 \- \5 R9 ~* \根据之前传入字典键与值参数判断表类型。
% F3 f5 \2 P, P- ^5 y自由建立数据表传入信息。

( }  t1 i. ^8 V' \  E缺点：
- \* F5 A3 V% k3 y# ~/ u( Z仅支持MySQL数据库。

$ }, E! V  o- A$ a：return SQL
* ~# x- T2 s  K
request.parse(
    url='https://www.douban.com/group/explore',
    Parsing = 'xpath',
    label = {
8 K2 ^6 Y+ o7 T% Z" [# @+ W+ B        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
, e- ^  i) `. V  r/ ]* ~9 H7 p; H        },
    write='result.pkl',
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
" G( l3 {/ m  V    page=[True,'url_page.txt'],
    clean=True,
8 b" c# C* r# b: y' m0 _3 ~    # 字典格式,
    # host可有可无,默认localhost
    # post可有可无,默认3306
    # user可有可无,默认root
    # password必要参数,数据库连接密码
9 Z* _" ?1 C" I    # db必要参数,数据库即将存入的库名
    # table必要参数,数据库即将存入的表名
    write_SQL={
+ z1 c2 K* ?2 b. W# T* g' M7 D" [        'host':'localhost',
9 Z4 F0 W0 N5 A( J: i        'post':'3306',
# r$ U4 H, k" l% f! q' k        'user':'root',
        'password':'123456',
- I: W& j. _. W$ }# F5 w$ E/ Z        'db':'example',
        'table':'example'
        }
    ).run()

第九种玩法：重新启动爬虫
+ a. d$ c: Q7 i, i; s) T爬虫最让人厌烦的就是被一个不痛不痒的错误信息给终止爬虫了，比如意外的远程断开链接等低级非代码错误，报错之后还得重新启动断续爬虫，就显得很麻烦。我做了一期爬虫程序异常报错后重新启动爬虫，多次报错结束程序。
& v- P2 i, A$ k1 f* m; m
特点：
! e3 i5 Q4 k/ y8 Z8 {检测报错重新启动爬虫
2 p# y8 k: W! Z: H. r7 ^8 a无需手动处理错误信息

缺点：
无法收集子线程错误。
; g4 B+ k% d5 `) [2 ^* {
：return None
) m; @6 r. h1 I$ r, s
request.parse(
0 ^7 c3 _0 \6 v  S$ }/ z        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
        type_url = "text",
) b" @. ?7 z* t1 E        Parsing = 'xpath',
" A# @5 y$ t2 i; [: G. B8 Z7 i3 R2 X        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
        write='result.txt',
" I) F# D$ ?9 S  v        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
; D! }) E) A) P# h- B        page=[True,"now_url.txt"],
/ Y, D0 g; e$ x        # texting 参数为是否启用连续爬虫
) {! E' O. S, I5 D8 [        # 爬虫程序异常报错后重新启动爬虫
        texting=True,
0 h2 F7 ]9 M& X  E" ^2 q# @        ###
0 _# @. w9 I' V1 @( f        write_SQL={
! ]: V6 I8 K' z4 {9 `            'host':'localhost',
2 C2 c1 W; B8 {5 o- A3 ~            'post':'3306',
9 v* A; N  N' W# I            'user':'root',
            'password':'123456',
            'db':'example',
            'table':'example'
2 n! Q; N( {3 r6 v            }
' }9 K, t8 G1 Q+ E( A).run()
$ i! v* o0 q# s3 N- ^% R1 x) c
第十种玩法：多线程爬虫
9 v# H% p) T, D$ |/ W2 y特点：
) }% J7 @. d0 p$ y爬虫速度加快，
" i; j/ g! ?( X8 v* t更好的利用了线程。
* b1 |4 }7 v* |' b% G/ S. U
. @$ }- x; k$ t% ]: }; E缺点：暂无
( S1 f* a" k  t' D
6 {  l" b9 h# L：return None
" o9 r8 ?& V! v. j6 Y
1 J" P5 z* e+ y1 b) Lrequest.parse(
  O  y, G; l+ ?; o        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
! J, c6 \) Q" y6 I; z$ G        type_url = "text",
- p' I+ k) g$ y        Parsing = 'xpath',
        label = {
" w# m4 `3 x' V) K8 a            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
/ P. x" x- l& f) n0 E* ^, @+ g            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
& c* B3 Z' w6 c" a; Z. t2 r* K            },
        write='result.txt',
; ?5 g/ |: J7 [        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
        #clean=True,
        texting=True,
        # status="threads" 启用多线程爬虫
9 M: E( R; U# t        # Thread_num 为线程数目,默认为1 单线程
3 r- f! k( d6 r" p( J        status="threads",
        Thread_num=3,
7 k1 Q: r' c6 d2 k" v        ###
        write_SQL={
            'host':'localhost',
/ V. A0 ~4 {! [% Q            'post':'3306',
3 m5 E  K8 u& s5 x$ J& m, P            'user':'root',
* N# P6 T5 c" ]4 F            'password':'123456',
            'db':'example',
            'table':'example'
            }
).run()
# G9 n5 {' |4 J9 v. d
第十一种玩法：多进程爬虫
) n# C9 \. W2 J特点：
爬虫速度加快，
6 O7 B. }( w+ u7 r$ L8 E更好的利用了进程。

缺点：暂无

, X) @/ G8 q# m! v：return None

from simple_crawl import request
; F! N  x- U5 @3 b$ Z, Irequest.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
4 c; F  O9 v' U4 E# ]; b        type_url = "text",
        Parsing = 'xpath',
% @+ R6 i  O- P7 C        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
8 h# I( U0 O6 K6 D$ c            },
        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
% L  s7 g$ f& T; x4 _        page=[True,"now_url.txt"],
& u8 m+ s1 }* A( [( P. L$ {4 W        #clean=True,
        texting=True,
7 y+ @+ g& @( ^' _  J/ o1 d; U        # status="multiprocessing" 启用多进程爬虫
* I9 d# O6 y) x9 O  ?) p3 ~        # cpu_count 为启动代码核心数,默认为系统核数一半
        status="multiprocessing",
        cpu_count=2,
3 y" A' M' |$ F9 S" u; r        ###
        write_SQL={
7 i0 V# D* ~! h- O: L: |            'host':'localhost',
% d$ H6 ~" W3 T2 m' T2 R            'post':'3306',
# ~, N; R, `: A) v( l  ]            'user':'root',
& D. ^! ]: j  b* g            'password':'123456',
) ~/ a2 a& r5 ?/ z+ a            'db':'example',
# K7 l% u, H, B: t# d8 c- }            'table':'example'
            }
) N$ G$ e3 N* _: J7 m- m+ |0 e1 F).run()
+ h* z, O% X: O' r. i
第十二种玩法：异步多线程爬虫
# L3 d# g& n- m9 M特点：
$ ?. q# R' m/ j4 K: `1 o9 ]爬虫速度加快，
异步使得爬虫无等待时间，
' z# K* I) d4 ~( K# ~$ w+ {同时使用多线程速度明显加快。
2 \4 O: Q  g. k$ t( k: x  U% v
缺点：暂无

：return None
. c$ u1 C! t2 r" ^% {9 c: ~, \! o5 N
" E7 Q+ w" f+ j4 E& @4 Lfrom simple_crawl import request
request.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
1 h( U9 O6 s9 D8 B        #login="taobao",
        type_url = "text",
        Parsing = 'xpath',
8 H0 g" T) H% Y; s# E5 `! T        label = {
$ d) P2 n  ^- a  M* Q- f            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
4 a3 i0 r' d2 e3 `+ H            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
. f, g3 y* l' s* X  l4 N            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
  T1 ]! g  }$ H/ n            },
        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
        #clean=True,
7 C' I  L& e1 M        texting=True,
        # sem 参数为异步引擎数目,默认为5
        # 其他参数同上
        status="aiohttp",
        Thread_num=3,
        sem=5,
7 d: L( Y# H. e8 N        ###
$ T3 w1 P+ E/ r( q$ Z6 U        write_SQL={
6 e$ ]2 q+ i& [& _9 d            'host':'localhost',
0 G; O/ L8 h4 ~* N1 J7 x+ Q            'post':'3306',
9 l% S0 n% H' N" y; V; R. l: p            'user':'root',
            'password':'123456',
. W, p1 {' V, U- ]* w            'db':'example',
: S+ O; f0 S9 Z8 w            'table':'example'
            }
  }) O  ?* |/ l) m).run()
( P$ x+ ]9 _8 s. `4 L; [9 H
3 X0 d* j3 R6 @8 {$ e第十三种玩法：异步多进程爬虫
特点：
' o. I- k0 R5 d: h爬虫速度加快，
异步使得爬虫无等待时间，
% N# X/ Z! K  K6 G" L同时使用多进程速度明显加快。

3 Z* C" _& L1 K* @' E# O缺点：暂无
* ]6 Z1 F8 |; w* I+ e! K- p
：return None
9 b# I: d9 a3 U
from simple_crawl import request
) V6 h+ E, I7 M/ Nrequest.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
1 q1 z8 x% X- \( r- F        type_url = "text",
        Parsing = 'xpath',
        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
, G) A' {- i$ i  r' s- S7 H8 g            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
4 H( ?" @' T! x/ |0 A            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
  N' v4 w$ Q* ~6 i7 Z, R            },
. K$ x+ r# k% U) t3 W        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
8 @6 u/ K$ P# w  M3 U        #clean=True,
        texting=True,
* U% J: I0 e0 o- f        # 参数如上
' M* b: Z- ]! n# {# o* B* `4 t5 B        status="between",
        cpu_count=1,
" O2 M. h4 Q3 g% K- X, `4 I7 P        sem=5,
        ###
        write_SQL={
; d  S2 ~9 H7 p& U0 y, K" o            'host':'localhost',
            'post':'3306',
5 b. P7 R: Q0 q* o+ o+ L8 M3 a3 x            'user':'root',
            'password':'123456',
            'db':'example',
% v/ ^5 F7 [' Z- l; y: J, j: b) y# [            'table':'example'
( m( e: E7 o0 }1 e, q  A4 G" _; ~            }
).run()
- j7 p  y. t( R& j: [% C

功能介绍完毕🤞
$ _2 n( `6 r# n+ b最后还是希望你们能给我点一波小小的关注。
% S% u* n/ y+ d' X+ j6 E! ~奉上自己诚挚的爱心💖
————————————————
版权声明：本文为CSDN博主「꧁༺北海以北的等待༻꧂」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_45414559/article/details/106005684
  q# |2 X8 {  f$ l( _2 P& Q- u; R
7 s( A3 a' w& i9 i: b+ @

738391227

66666666666666666666666666666