Python爬虫仅需一行代码----crawl第三方库

zhangtt123

仅需一行代码写爬虫–simple_crawl
simple_crawl
仅需一行代码即可达到爬虫效果
项目地址(欢迎star):https://github.com/Amiee-well/crawl
2 F; M8 y/ X. {+ L$ b1 O# x使用方法
" F  V8 }( B4 B- F! G6 S* gpip install simple_crawl

### 以下源代码为简单介绍,详细功能介绍再源代码之下
from simple_crawl import request
request.parse(
% I+ J: s; ^- z1 M4 U- [        # status 参数为运行状态,支持单线程多线程多进程协程以及联合
        status="aiohttp",
; }1 e3 Q: E5 M5 X        # url 参数为爬虫网址,单线程状态为字符串格式,特殊状态为列表格式
3 J' _1 N: v, ?0 N; y7 h        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
  W5 V, O- @7 F& b/ X        # login 参数为获取登陆信息,如淘宝等网址需要登陆信息
    #login="taobao",
    # type_url 参数为返回源代码格式,支持text和json,默认返回text
2 D, c- M& ~. n4 W1 [0 o, f    type_url = "text",
    # Parsing 参数为解析方法,支持re、xpath和beautifulsoup
+ O7 B0 p/ f! W    Parsing = 'xpath',
    # label 参数为爬虫解析过程,字典格式,详情见下方
6 l% ?; B2 |( Z# T0 b6 N    label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
! _2 o) f+ u# I8 W* Z            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
2 V( ~5 T+ e) o; o5 l- F" A            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
7 g* d5 Z9 ~( H- j4 c" r$ g     },
     # write 参数为爬虫结果保存,支持txt、csv、pkl、json,注:特殊状态爬虫信息容易混乱
1 p- g2 O9 I9 Z. l& \     write='result.txt',
& I2 Y( h* w0 `, W! p2 S     # next_url 参数为下一页爬虫地址,@必须为href,仅支持单线程爬虫
     next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
' {4 Q( r  C8 J7 S# v     # page 参数为断续笔记,第一个参数是否启用笔记,第二个参数选填默认page.txt,仅支持单线程爬虫
     page=[True,"now_url.txt"],
     # clean 参数为是否进行数据清洗,防止大量爬虫收集无用信息
     #clean=True,
     # texting 参数为是否选择连续爬虫,避免爬虫过程中出现非代码问题报错结束爬虫程序
. ?% z( u0 u$ \+ {     texting=True,
     # Thread_num 为多线程数,默认为1单线程,支持多线程状态和异步状态
2 K; z( U7 i& R  \; v: o0 a     Thread_num=3,
- {# D1 ], U3 u     # cpu_count 为多进程数,默认为1单进程,支持多进程状态和联合状态
5 B; S' h2 E- n) {" E     cpu_count=1,
" q, A6 @& n$ B* \/ V% {8 W     # sem 为异步控制数,默认为5同时启动,支持异步状态和联合状态
     sem=5,
0 w8 \+ ]$ Y, j+ m' O     # write_SQL 为是否写入数据库,默认否
! i/ T- s2 S, |$ L6 }! P1 L" @     # host 参数默认localhost
     # post 参数默认3306
/ m! X: ?# j* F8 |, L4 C" i! x     # user 参数默认root
     # password 参数必填,必须正确
+ E! N. I* s1 I+ k! O     # db 参数为即将存入的数据库名,若不存在自动创建
6 ^# R! A1 n4 ]3 x5 i( o! @     # table 参数为即将存入的数据表名,若不存在自动创建
     write_SQL={
         'host':'localhost',
& g$ I& I- q0 j" C. @/ k! y         'post':'3306',
3 [& A3 R4 V' c7 M# J6 a5 k) E         'user':'root',
! W! d* T) z& D' K+ F         'password':'123456',
         'db':'example',
         'table':'example'
      }
).run()

& ~7 P7 S4 B5 r1 K6 K" @介绍一下crawl参数设置：
$ v7 n5 J/ G: P
! e! U( U. r: D* z'''
7 z% _8 S9 s/ z5 {0 s$ t, G9 E单行代码爬虫程序执行
; C+ o6 X# G1 g4 M  W' J: @/ e3 Q:param status:启用爬虫类型,支持普通爬虫、多进程爬虫、多线程爬虫、异步爬虫、异步多进程爬虫,参数请参考文档
:param url:即将请求的url地址,仅支持get请求
5 t5 D' A/ r. O6 S9 P:param type_url:请求url后返回格式,支持text和json格式返回
% X2 z7 N/ L1 Z& |' |5 y:param Thread_num:即将启动多线程个数,默认为1单线程
:param sem:协程信号量,控制协程数,防止爬的过快,默认为5
:param cpu_count:运行爬虫使用多进程cpu核数,默认为系统核数一半
:param login:模拟网站登陆,保存登陆信息
8 x; E/ k$ H' \3 j% Q4 k:param Parsing:爬虫方式,支持re、xpath以及bs4方法
  |* v9 I1 I0 v" f! Q+ C:param texting:是否启用连续爬虫,爬虫程序异常报错后重新启动爬虫,
/ P# U, h/ \* t" `5 a                       多次报错结束程序,默认否
:param label:选择器内容,字典格式保存,
9 a$ r* E8 _. J% D/ k3 P+ j9 ^                     字典值为列表格式,第一个参数为选择器,第二个参数为转换类型
3 X6 c; V. E0 A: H6 W                     第一个参数必填,第二个参数默认str类型
0 f5 s8 p! G$ _4 I( ^3 n2 w5 i0 q:param write:是否写入文件,支持txt格式、csv格式、json格式以及pkl格式,默认否
4 W9 S3 }$ x% M, M:param next_url:是否跨页爬虫,选择器内容使爬虫继续翻页爬虫
:param page:是否选择断续笔记接手下次爬虫处理,默认否
:param clean:是否进行简单类型数据清洗,默认否
:param write_sql:是否写入数据库,默认否
                         'host'默认为'localhost','post'默认'3306','user'默认'root',
+ y& X. p% z9 D# W                         'password':'密码','db':'数据库','table':'数据表',
4 \3 e1 o* [4 x& k. |- B0 S  o                         检测库是否存在,若不存在则创建,若存在则直接插入,
, d0 M+ h2 I* b; l1 u7 z                         检测表是否存在,若不存在则创建,若存在则直接插入
/ J: G5 `9 }, o5 N:return True
( ?# r0 v* v5 T# x1 @'''
介绍玩法
$ S" g3 j1 S5 h# w& v接下来介绍的均为调用第三方库的情况下运行：
; @/ O- j9 |$ I# d* e
9 L1 L: X* ^1 z1 Qfrom simple_crawl import request
" G3 y! l; L: L# B) U. ^第一种玩法：输出源代码
4 g9 j* L% J" ^- ^% l调用requests库进行源代码请求。

特点：
2 u5 F1 Z% }3 s1 G) Y9 Y$ A- h, g' f请求失败则调用ip池处理重新请求访问，
. x8 A! a0 a$ r) W  I5 C3 W出现五次失败默认网址输入错误。
支持text以及json字符串返回。默认text。

" \% U) L) `* p4 ~# q缺点：
9 e# e% q3 {6 F& H" j4 ]5 R暂时只能进行get请求，不支持post访问
- I8 _  C; c% D2 v
：return text or json

$ F; n& i% E# N: {+ ~; w( r3 Urequest.parse(
; |; y; g9 u7 o0 s        url = "https://www.douban.com/group/explore",
  E" P! K! v8 r6 m+ i) z        type_url = "text"
8 P9 I+ A$ O: p% d- [7 l).run()
0 t) Q' C7 H7 i1 b, v, n( t# return text
5 C8 _, f3 f9 x$ R6 P3 \: V
1 d1 U! D3 I/ C( L) Z8 ~1 f+ u2 I3 v第二种玩法：模拟网站登陆并保存信息
调用DecryptLogin库请求登陆访问。
$ [7 ^6 l8 ~* @* F
ps：DecryptLogin库为大佬皮卡丘写的一个很不错的模拟网站登陆库，在此引用一下，因为单行爬虫原因不支持账号密码登陆，我将大佬写的二维码登陆使用过来了。再次感谢大佬开源
4 I" M3 P" l! v; }在此放出文档地址
DecryptLogin库中文文档：https://httpsgithubcomcharlespikachudecryptlogin.readthedocs.io/zh/latest/

特点：
将DecryptLogin库中二维码继承到此库（非二次开发）
支持QQ群、QQ空间、QQ安全中心、淘宝、京东和斗鱼登陆（大佬登陆库中所有的二维码登陆）
- w% S6 e' e0 I/ p2 v/ E. j& L保存session.pkl信息到本地方便下次登陆运行

缺点：
  A7 E( _! i' E: C+ n8 N+ B; i/ Qsession.pkl登陆信息过时无法自动删除。
& b# |% c2 x0 c8 ?& g: Z0 _导致下次登陆疑似cookie无法正常登陆。
* ?' x  G! Z' g: Q
7 r! u0 L" G8 Y$ ^1 o# h. F/ J:return session
) l& u8 x! |% s  v. D0 z4 g
request.parse(
        # 臭不要脸的推广一下我的店铺
+ w4 o7 a. ^9 ~0 ~) M* w* t  u+ t        url="https://shop574805287.taobao.com/",
        login="taobao"
+ P6 r! j. Z6 r/ U: s).run()
% v1 l! ]& k9 [' [# return text

第三种玩法：爬取网站信息
爬虫库自然少不了爬虫的过程

特点：
$ Y. P; i9 S# z0 Y' s支持re库，xpath解析以及bs4选择器。
爬取方法为字典格式。单方面输出。
字典键为保存的字段名称。
字典值为列表格式：第一个参数为选择器，第二个参数为转换类型。第一个参数必填，第二个参数默认str类型。

缺点：暂无（等待小伙伴们发现）

：return reptile_results

request.parse(
        url='https://www.douban.com/group/explore',
        # 字符串格式,选择器方法。
4 F0 X' v5 ~# U    Parsing = 'xpath',
    # 字典格式,参数如上。
( M" T: N. T8 y! K7 x- E  G4 J    label = {
9 ~& b9 l, Y$ D; M% c! O        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        }
. h- t# R, A, [: K).run()
# return reptile_results（list）
$ A" k) v9 ?/ ^. ^9 f
第四种玩法：自由保存信息
0 G' b" a- M  t+ d目前版本支持保存txt、csv、json以及pkl四大主流文件。日后版本更新将发布更为全面的保存方法。
$ S# z" x" p; T, h, \
特点：
写入文件均为数据格式传入文件。
" b' K% y3 H% Y, J: r& V  ~: O且输入格式规范方便阅读and省事。

缺点：
保存格式仅四种，
1 {! R8 q; r4 a" A不方便用户之后读写操作。
/ n) x; s% E$ N2 Z/ R
：return file

7 N. }' H8 ?& I; u2 vrequest.parse(
        url='https://www.douban.com/group/explore',
    Parsing = 'xpath',
    label = {
- l5 S7 p6 N. z5 q* K% q        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
$ Y9 n2 H+ A* X  J5 }* t  j        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
5 T9 w: @* n3 R) w  K! d' y- G, f    # 字符串格式,具体保存位置填写
    write='result.pkl'
).run()
# o+ I" t9 D. v) _7 R) h6 x) K# return file

# w% R! t5 \) V6 r* U4 A2 v第五种玩法：读取下一页 url 地址继续爬虫
2 n! c( |+ h4 s5 r这也是每个人都担心的问题，仅仅一行代码怎么可能翻页爬虫。这还真能做到哦~

特点：
; g. }, N- b. l! H/ u$ J' r继承之前的Parsing参数选择器选择方法。
7 f* v' E6 x4 E$ B/ e在这里可读取到解析后的下一页 url 网址。
方可继续进行爬虫处理。方便用户使用。
5 q' C0 \: A5 F' e+ n
缺点：
若爬虫时下一页 url 地址改变，便结束爬虫。
+ u; q3 s; f/ o4 e$ W只能爬取所给 url 地址中的信息。
; M' T0 l+ T  `7 `6 Y无法进行某一界面的多个网页爬取返回。
, m1 _, R  B; Z' }0 G造成访问页面单一流失。
$ q! b( a2 Z' u: }4 n
：return None

- E# P9 o5 ]% r- qrequest.parse(
0 |1 s" ^- h# ?. T5 T  z8 }        url='https://www.douban.com/group/explore',
) b3 }4 ]. U' N0 X+ G    Parsing = 'xpath',
! b% m/ l: K8 V7 k# q  \    label = {
, ?% c9 n9 D" v2 R0 p" H        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
6 b( x3 i* @5 p% k' G        },
    write='result.pkl',
4 w& S# e% N' C  t$ I    # 字符串格式,根据Parsing方法继续请求下一页a中href
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
).run()
# return None

第六种玩法：爬虫网页保存
  y5 h/ G1 H* J* i7 R听说过爬虫断续重连的朋友应该懂得这是个什么神仙操作。每次爬虫运行期间好好的，睡一觉醒来发现代码报错了。。。这就是个很难受的事，还不知道之前爬取到哪一页了，只能重新爬虫了啊！

特点：
2 q% _% [; U3 c- W, y* b持续输出断续笔记。
0 R1 i  {# E) W# K$ E$ t将此次爬虫的 url 地址保存到一个文本文档内部。
下次读取文本文档即可快速进行直接断掉的爬虫 url 地址继续爬取所需。

缺点：
读取内容不单一。
导致下次爬虫无法正确读取上次爬虫留下的痕迹。
; _* k' {# ^+ J0 C6 P4 L- {
：return url_file
9 h5 `  z) P) z& {' h2 f
0 D# S+ y5 E9 c" u+ z% Irequest.parse(
    url='https://www.douban.com/group/explore',
    type_url='text',
    #login='taobao',
, O6 v; P( q4 h    Parsing = 'xpath',
    label = {
, s* B' ~( o" ^' U& h; J3 n. N        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
, g" C, q* Y+ g        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
6 u! v( Q* d7 m2 c& Z% G        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
    write='result.pkl',
% q8 D0 v* n! i1 b1 C- ]" V    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
& }& l- Y, b: O& X    # 第一个参数为是否需要断续笔记。
    # 第二个参数为断续笔记保存位置。
    page=[True,'url_page.txt']
% r+ Y3 c" r' C! X7 j).run()
# return url_file

8 F+ T2 s- ]: F第七种玩法：简单数据清洗
数据拿下后，直接保存到本地有些大佬可能觉得很辣鸡，连清洗都不清洗就存入本地了？那得拿到多少废数据脏数据。那么接下来介绍一下清洗参数。

! k. t3 m7 f9 s5 ~5 S0 r# R5 N& Q# V特点：
. w4 e& K7 \: Y8 i- _  m8 x本人曾写过一个底层数据清洗。
能将列表格式数据进行归分清洗。
' R' Q( _) q* ]/ ^: w0 K主要内容请参考另一篇文章
如下连接：数据清洗
% c9 Z' R$ Q# M. s2 Q& r+ p
7 d' J( x5 y/ X1 T, D缺点：
! w& H: z4 E# t( [/ v( `) k, I数据清洗格式简单。
数据清洗内容单一。
9 k. _6 d" Q& O# W6 v0 X" h: u无法完全做到绝对清洗。
有待改善。

：return keyword_list, value_list

* S3 ]3 Z, H) H( M# \request.parse(
    url='https://www.douban.com/group/explore',
- \( q& Y4 X6 b. F0 w    Parsing = 'xpath',
% d# [7 M/ F: m  P    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
    write='result.pkl',
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    page=[True,'url_page.txt'],
' J2 @, s8 h, J0 q7 t: {    # bool类型,默认不清洗
    clean=True
).run()
0 c) s+ M: ^) O  {* v  a9 c
第八种玩法：爬虫存入数据库
6 `, d* L$ |+ H) A存到txt、存到csv、存到json、存到pkl，那也太low了吧。现在流行的数据库用不了么？那是不可能的。。

特点：
信息存入MySQL数据库。
# K2 C) R0 Z5 v可连接docker远程数据库。
2 v, }# Y: t0 N- s: d6 a7 r数据库的库名可以不存在。
数据库的表名可以不存在。
根据之前传入字典键与值参数判断表类型。
3 n/ p  W' f% y# @0 T* C; S自由建立数据表传入信息。

; B0 y! Y+ B2 @! e" X缺点：
- ~: v5 f4 Q2 J8 t9 f" ]$ m仅支持MySQL数据库。

3 v" c1 N" P7 O, Z# |) k/ V：return SQL
3 w8 a: p3 X, d+ U$ S! T8 q+ R
request.parse(
2 z, g; U/ s! J  \2 N) K    url='https://www.douban.com/group/explore',
    Parsing = 'xpath',
    label = {
) X6 ?/ k# n* f0 K( m! S0 L        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
4 i( D. K& X0 O* R4 c# G, c' g) W    write='result.pkl',
+ k' M, C+ M) ^0 ^0 `% F  X    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
: k- O9 L! Y4 @( [3 o8 I    page=[True,'url_page.txt'],
% t' F, t" ]* O7 G+ n+ ?; {# U    clean=True,
, U, v5 d1 r0 j4 q; Q3 W    # 字典格式,
    # host可有可无,默认localhost
! I2 a& X1 D0 |4 ~    # post可有可无,默认3306
8 a& F( N  z8 Z% Y5 m& Y9 f    # user可有可无,默认root
- |4 N: J1 m! ^- J2 t1 N. A    # password必要参数,数据库连接密码
3 J; a0 z0 @3 z- y    # db必要参数,数据库即将存入的库名
    # table必要参数,数据库即将存入的表名
    write_SQL={
        'host':'localhost',
8 D, x- i7 q1 u& y        'post':'3306',
( g/ p0 L6 B3 `5 \; n- N        'user':'root',
        'password':'123456',
        'db':'example',
        'table':'example'
1 N0 r7 I' b% |7 U& G6 q        }
; p6 b* h& W- W1 T- }- i    ).run()

; A+ y- T* A. t9 B' H1 ?+ _第九种玩法：重新启动爬虫
爬虫最让人厌烦的就是被一个不痛不痒的错误信息给终止爬虫了，比如意外的远程断开链接等低级非代码错误，报错之后还得重新启动断续爬虫，就显得很麻烦。我做了一期爬虫程序异常报错后重新启动爬虫，多次报错结束程序。

特点：
检测报错重新启动爬虫
无需手动处理错误信息
$ @6 z! F6 y$ ?% [* |/ @5 R
4 E/ J1 y- Y9 W2 Q( e( x缺点：
8 D1 V; k$ K6 i: n$ x无法收集子线程错误。

6 p8 ?" q9 q  t7 m, l4 I：return None

0 b4 d5 k% A5 y( K7 _  krequest.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
        type_url = "text",
        Parsing = 'xpath',
: W5 u1 ~" j8 M3 q; u# n        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
% I; z. V1 d% H8 Y! w" `" h            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
. Z$ {' g2 ~3 i( |6 i+ O            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
( a, S! j; `! C" p3 H! q) ]            },
        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
        # texting 参数为是否启用连续爬虫
; N6 b8 h4 m$ R1 |; O) U8 r        # 爬虫程序异常报错后重新启动爬虫
        texting=True,
5 w+ Z! n0 a+ J+ Y9 _$ C        ###
        write_SQL={
            'host':'localhost',
            'post':'3306',
            'user':'root',
            'password':'123456',
1 `" X! f( d3 H  e' D2 K            'db':'example',
            'table':'example'
- u% Z2 K: I2 ~% B            }
; G# g$ I8 n+ `0 ?0 i).run()

! v0 E& D) `' A, C! a+ y4 ^7 W4 n第十种玩法：多线程爬虫
特点：
3 f" a- Z' w& C+ l* k爬虫速度加快，
更好的利用了线程。
* S9 Y# o: ?$ x+ L$ }
, Y: i, D" \+ k0 x: C9 Z缺点：暂无
" n) k. n7 R+ W8 j3 \
, t! m1 g% M7 u- Q  y& \. k, c：return None

7 m/ N5 o( |  A. D, |' drequest.parse(
# ?# o# I1 A4 w9 z9 W0 q3 P+ `+ S        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
! u6 p" m- p+ e; h! S( `        #login="taobao",
3 r& K5 F3 F  y) s/ }        type_url = "text",
        Parsing = 'xpath',
/ Z( L- d$ a8 T$ t        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
7 K+ ~( a7 W  ~            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
8 K3 u4 J( H; ^1 ], j$ Q" E! G            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
        write='result.txt',
4 _. B8 T* ?( u2 S        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
+ n9 o4 S  e, j# |' C; d        page=[True,"now_url.txt"],
        #clean=True,
        texting=True,
$ \$ B# W5 Q/ G        # status="threads" 启用多线程爬虫
2 j4 x* t+ m  |( C( c% W        # Thread_num 为线程数目,默认为1 单线程
        status="threads",
        Thread_num=3,
* t) D2 s  W/ u+ s: a( C        ###
% S6 M1 z$ ?& B7 J9 N        write_SQL={
8 L3 }" J. e* g) g: w' P' z9 ^! Z            'host':'localhost',
* m- |  M" A5 G" h            'post':'3306',
            'user':'root',
            'password':'123456',
            'db':'example',
$ H" `- S  }% r) b: T            'table':'example'
& j* Y) |6 ~5 t: n' E- `            }
).run()
* Z& ?4 d8 N" m9 i  R3 m' Q& ^* C
第十一种玩法：多进程爬虫
" E7 D3 a- k4 I$ J) N特点：
  V0 f3 R' ~" b9 d5 \爬虫速度加快，
, s( r. O; T+ D3 a4 ~更好的利用了进程。

缺点：暂无
/ v) n. r0 [! J: }4 {9 Q6 p; q; T1 f
：return None
7 q: e/ F5 ^# r% K7 j
# w/ p! b3 ~/ O; w3 m) sfrom simple_crawl import request
request.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
$ L" U- e* d# A' c7 v3 F        #login="taobao",
        type_url = "text",
        Parsing = 'xpath',
( \1 Z, ]: n5 V$ }/ x+ `        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
* J) {0 Z# u4 Z/ p            },
        write='result.txt',
9 K# r, O. ~1 m/ r/ u* Z: L        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
        #clean=True,
, Z! v  k6 \+ x6 c        texting=True,
        # status="multiprocessing" 启用多进程爬虫
        # cpu_count 为启动代码核心数,默认为系统核数一半
: g* s7 {' ]$ U9 q# Q/ h        status="multiprocessing",
4 N5 h% L, p" v% }        cpu_count=2,
        ###
0 t5 K4 h& k% @" \" f0 g        write_SQL={
! Y; t  u% ~/ U$ E2 m4 i  W2 y            'host':'localhost',
; G2 _2 ?$ g* Y8 j            'post':'3306',
: p" y; W# f+ b3 d            'user':'root',
            'password':'123456',
            'db':'example',
            'table':'example'
            }
( e  g1 R( v& \) r).run()

* R$ w# i3 ^$ {( s5 B1 Q第十二种玩法：异步多线程爬虫
特点：
* C# f) K# r; g$ d爬虫速度加快，
. a) P6 b$ }% N异步使得爬虫无等待时间，
同时使用多线程速度明显加快。
) O! z- W4 ~" r* e) ^. p+ f
缺点：暂无
/ G& R/ x% w5 Z$ F9 a1 e4 B
：return None
. H5 x4 O4 \9 B3 N
from simple_crawl import request
request.parse(
& H; V- f3 G* |; B- y        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
# ]" h7 u9 Z- Z3 W- P        #login="taobao",
' y8 u# |! ^$ V* m/ C% d) N1 A$ U! j        type_url = "text",
        Parsing = 'xpath',
" ^+ Q" `0 M8 f: ?9 P        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
        write='result.txt',
* f/ H5 D/ B# G! E9 i; t        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
: p* y" R7 _( A* O$ B8 F        #clean=True,
        texting=True,
        # sem 参数为异步引擎数目,默认为5
        # 其他参数同上
        status="aiohttp",
        Thread_num=3,
: c  \$ ^& C& _9 ]        sem=5,
        ###
        write_SQL={
            'host':'localhost',
4 l! h# v6 \+ e2 h7 N8 `            'post':'3306',
" `6 P* y7 G! x$ @            'user':'root',
( G8 n& j+ o/ J& ]8 C+ |0 V9 {            'password':'123456',
            'db':'example',
            'table':'example'
% Z$ P4 {  _& a  C) ^  K& G" x% M            }
1 i9 q1 q7 W: S! ^).run()
4 W) [$ t: o8 W4 i0 A0 u! Q. y
8 \6 e9 q" Q4 e/ ]9 @5 o第十三种玩法：异步多进程爬虫
; C4 f& ?, S% P* @& d. a# S( v特点：
. w. q. h5 j. d: v/ _爬虫速度加快，
异步使得爬虫无等待时间，
同时使用多进程速度明显加快。
4 [" u' M5 S" Y3 z" x2 V
缺点：暂无
0 D# t: _' O6 u1 J) g
：return None

from simple_crawl import request
request.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
3 i0 K! B0 W5 |5 q+ E3 }        #login="taobao",
( [2 {1 T6 n+ U9 `8 L) D% Z4 f4 f        type_url = "text",
6 H1 O: i/ v6 [& |        Parsing = 'xpath',
* d$ N* d+ y: u        label = {
2 E5 \# j3 H0 S: N- T            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
$ z3 G/ M; g( C& Y$ {* J* k            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
; y: K; `1 a: J4 u+ w            },
        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
& O6 w( g) [1 U# T        page=[True,"now_url.txt"],
  b0 M5 Z2 \- Y2 m5 D* m, o0 n! Z; b$ K' i- I        #clean=True,
, V4 K% V. x% Y3 C        texting=True,
        # 参数如上
        status="between",
: _3 d% M$ j3 i- `) |        cpu_count=1,
. Z7 l4 \' N* B! O' y  K) w        sem=5,
) y! {- L( d* f- n5 g# @5 w        ###
        write_SQL={
/ ]! d1 f1 I0 N, \+ N" F& [            'host':'localhost',
            'post':'3306',
            'user':'root',
            'password':'123456',
# D- R4 t% X' `4 L* U- R9 Q: i2 G            'db':'example',
* _: }$ z9 W& \: I3 G            'table':'example'
            }
).run()
5 t. v* P0 i1 ]; {

功能介绍完毕🤞
最后还是希望你们能给我点一波小小的关注。
奉上自己诚挚的爱心💖
————————————————
6 d  \) B/ c+ j1 f# ?版权声明：本文为CSDN博主「꧁༺北海以北的等待༻꧂」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_45414559/article/details/106005684
8 R4 a, E. S7 Z- [. P2 v" o
  H$ u# p3 Q, F2 S
8 c" n0 e$ S. P8 [1 s

738391227

66666666666666666666666666666