Python爬虫仅需一行代码----crawl第三方库

zhangtt123

仅需一行代码写爬虫–simple_crawl
simple_crawl
仅需一行代码即可达到爬虫效果
$ k( ~0 z# j( J8 M# S项目地址(欢迎star):https://github.com/Amiee-well/crawl
& d6 q* t: v+ H' _2 }使用方法
pip install simple_crawl
* J8 W8 k$ v6 U# N  V
### 以下源代码为简单介绍,详细功能介绍再源代码之下
5 ]/ c) s5 w. Q9 y9 w' S; Jfrom simple_crawl import request
request.parse(
        # status 参数为运行状态,支持单线程多线程多进程协程以及联合
        status="aiohttp",
  `: c. G/ `- c. j" \3 z9 v5 c+ R+ E        # url 参数为爬虫网址,单线程状态为字符串格式,特殊状态为列表格式
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        # login 参数为获取登陆信息,如淘宝等网址需要登陆信息
    #login="taobao",
    # type_url 参数为返回源代码格式,支持text和json,默认返回text
    type_url = "text",
    # Parsing 参数为解析方法,支持re、xpath和beautifulsoup
    Parsing = 'xpath',
    # label 参数为爬虫解析过程,字典格式,详情见下方
    label = {
3 z/ ~! p( o2 l; [9 g8 s3 {, |  v" b. E            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
+ o) L8 G  t2 y  z9 I% y& h            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
     },
3 }( ?6 b( l, @/ j0 C) e" b     # write 参数为爬虫结果保存,支持txt、csv、pkl、json,注:特殊状态爬虫信息容易混乱
     write='result.txt',
& B- _' I6 D& V6 C3 m3 a     # next_url 参数为下一页爬虫地址,@必须为href,仅支持单线程爬虫
/ C- H1 O( @' Q& m" f9 p  A     next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
     # page 参数为断续笔记,第一个参数是否启用笔记,第二个参数选填默认page.txt,仅支持单线程爬虫
/ ]' U! N- A$ H& G     page=[True,"now_url.txt"],
     # clean 参数为是否进行数据清洗,防止大量爬虫收集无用信息
, |; F/ |0 N, @; x     #clean=True,
     # texting 参数为是否选择连续爬虫,避免爬虫过程中出现非代码问题报错结束爬虫程序
! a2 J" |2 Z+ X+ m* c2 `- f     texting=True,
     # Thread_num 为多线程数,默认为1单线程,支持多线程状态和异步状态
- s3 S' Q+ \! _( h7 v     Thread_num=3,
     # cpu_count 为多进程数,默认为1单进程,支持多进程状态和联合状态
9 u/ o% H8 t5 M' z# _     cpu_count=1,
     # sem 为异步控制数,默认为5同时启动,支持异步状态和联合状态
4 j* X" z$ Z. W5 K4 e: W+ h( _     sem=5,
     # write_SQL 为是否写入数据库,默认否
     # host 参数默认localhost
     # post 参数默认3306
     # user 参数默认root
     # password 参数必填,必须正确
  {  C) H$ W1 L' ]5 H- f4 i     # db 参数为即将存入的数据库名,若不存在自动创建
" u1 I( Z+ k. e5 v0 K* E  M- N9 Y     # table 参数为即将存入的数据表名,若不存在自动创建
: p% Q! d1 X4 x3 K     write_SQL={
         'host':'localhost',
         'post':'3306',
         'user':'root',
         'password':'123456',
5 U) p0 D5 x5 X; S/ i         'db':'example',
         'table':'example'
0 ?. ~* _% ^* ]% c8 o" s) I      }
# o% a& p& Q& N).run()
* Z. ?; W# S1 H
) A0 Z, P) C% H+ m( V7 f5 Q# ~# J介绍一下crawl参数设置：
& M) B* ~) u; n  O, l  s1 H& {/ n
: {1 H- N' \9 e4 o7 K, Q'''
单行代码爬虫程序执行
:param status:启用爬虫类型,支持普通爬虫、多进程爬虫、多线程爬虫、异步爬虫、异步多进程爬虫,参数请参考文档
. L4 j$ @( S  @( m$ x0 V% |:param url:即将请求的url地址,仅支持get请求
:param type_url:请求url后返回格式,支持text和json格式返回
:param Thread_num:即将启动多线程个数,默认为1单线程
:param sem:协程信号量,控制协程数,防止爬的过快,默认为5
:param cpu_count:运行爬虫使用多进程cpu核数,默认为系统核数一半
:param login:模拟网站登陆,保存登陆信息
:param Parsing:爬虫方式,支持re、xpath以及bs4方法
:param texting:是否启用连续爬虫,爬虫程序异常报错后重新启动爬虫,
                       多次报错结束程序,默认否
:param label:选择器内容,字典格式保存,
1 H: t% |. w- w  A2 N3 \                     字典值为列表格式,第一个参数为选择器,第二个参数为转换类型
                     第一个参数必填,第二个参数默认str类型
' W2 @- L( o& C) H8 {/ Z) R" f9 [:param write:是否写入文件,支持txt格式、csv格式、json格式以及pkl格式,默认否
8 m+ V) P$ a* B. T2 B$ h( [:param next_url:是否跨页爬虫,选择器内容使爬虫继续翻页爬虫
, @% _+ B! G# Z; l4 g0 a:param page:是否选择断续笔记接手下次爬虫处理,默认否
; s  D( A7 h9 L3 z( ^+ v; s( ?:param clean:是否进行简单类型数据清洗,默认否
:param write_sql:是否写入数据库,默认否
/ m# }! b. P% ]- ^: `2 k                         'host'默认为'localhost','post'默认'3306','user'默认'root',
" m% k& D% `3 ~2 t" x! L                         'password':'密码','db':'数据库','table':'数据表',
! D' z1 L! P. R8 C1 D3 l                         检测库是否存在,若不存在则创建,若存在则直接插入,
" Y, U& ]3 J  M; H& {                         检测表是否存在,若不存在则创建,若存在则直接插入
. ?0 c0 S, g0 H: W& @:return True
9 b1 d: i- I- h+ F7 ?5 o5 j'''
介绍玩法
接下来介绍的均为调用第三方库的情况下运行：
0 i" Z* F& m" U4 W
from simple_crawl import request
第一种玩法：输出源代码
" U% S( W5 }, A# i% V调用requests库进行源代码请求。

: f6 m& P4 W0 B8 g* E( `' R特点：
请求失败则调用ip池处理重新请求访问，
出现五次失败默认网址输入错误。
支持text以及json字符串返回。默认text。

* y+ u, F" ~6 d' a- Q% `缺点：
, H) t: U' j. D# }) D& d暂时只能进行get请求，不支持post访问

3 |9 q7 Q9 Q: X( }; v/ @" _7 ]0 V：return text or json

request.parse(
        url = "https://www.douban.com/group/explore",
9 F- _, |. P0 D: o        type_url = "text"
; m5 X: ^& F2 P).run()
# return text

' }) P* E  P. J% V$ N4 o3 e0 Y2 ~第二种玩法：模拟网站登陆并保存信息
4 U% p9 [& ~8 C- u6 e' ~0 F# x- M调用DecryptLogin库请求登陆访问。
5 ~+ L2 v( {4 w
ps：DecryptLogin库为大佬皮卡丘写的一个很不错的模拟网站登陆库，在此引用一下，因为单行爬虫原因不支持账号密码登陆，我将大佬写的二维码登陆使用过来了。再次感谢大佬开源
在此放出文档地址
7 o5 e! I* y2 X$ _DecryptLogin库中文文档：https://httpsgithubcomcharlespikachudecryptlogin.readthedocs.io/zh/latest/
$ b4 l' D2 S" H/ v! p0 J
特点：
将DecryptLogin库中二维码继承到此库（非二次开发）
支持QQ群、QQ空间、QQ安全中心、淘宝、京东和斗鱼登陆（大佬登陆库中所有的二维码登陆）
8 v/ W3 {7 }, U- j5 z0 \$ t0 o保存session.pkl信息到本地方便下次登陆运行
+ ?* d; `) @9 @8 Q
缺点：
' l; d% }. j* C3 o! {session.pkl登陆信息过时无法自动删除。
, Y5 }  x& m# W8 t7 \导致下次登陆疑似cookie无法正常登陆。

:return session
2 }3 Z0 d3 X; G: A0 I6 @. |
9 ]" Y/ y7 x$ |5 R: drequest.parse(
        # 臭不要脸的推广一下我的店铺
        url="https://shop574805287.taobao.com/",
        login="taobao"
$ O8 B& L9 Z2 B) e).run()
# return text
4 l7 t+ Y) f( m( |8 G9 |/ G
2 F5 Q& i' Z: j: ~第三种玩法：爬取网站信息
爬虫库自然少不了爬虫的过程
" D* K) h: J  w
特点：
支持re库，xpath解析以及bs4选择器。
爬取方法为字典格式。单方面输出。
字典键为保存的字段名称。
, m; h8 y8 @, j/ e字典值为列表格式：第一个参数为选择器，第二个参数为转换类型。第一个参数必填，第二个参数默认str类型。
" T2 Y, B) ^. h) V6 d; i
" {  a9 g6 q8 V: ~6 e) c* a缺点：暂无（等待小伙伴们发现）
: u2 C; b/ n5 u
7 d4 P9 a' k) v. R  D. u; L7 Z：return reptile_results

* Q. t* z: k7 q- Frequest.parse(
        url='https://www.douban.com/group/explore',
+ d6 h7 S+ Z7 I% \1 \7 [9 R% u        # 字符串格式,选择器方法。
4 d1 p  q* s$ r) e* A) M    Parsing = 'xpath',
    # 字典格式,参数如上。
% T: L' H2 a  n    label = {
  e; b8 M% @* y        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
' _8 j2 u6 ]' r0 q' k, E( e( a        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        }
).run()
( e& P$ ^1 }+ y; G# return reptile_results（list）

+ ]+ K# T# m2 z第四种玩法：自由保存信息
1 a0 }" }) u- [% X( s0 o4 o目前版本支持保存txt、csv、json以及pkl四大主流文件。日后版本更新将发布更为全面的保存方法。

; J+ M! H9 t: m/ m3 x1 @特点：
  @$ ~% A6 W- ?% N, U' H写入文件均为数据格式传入文件。
且输入格式规范方便阅读and省事。

' H# g" M/ H8 _1 ~  \& K* B& w$ B* o5 n缺点：
8 Z; k4 s8 {4 y) O, s  G7 z9 |保存格式仅四种，
不方便用户之后读写操作。

2 w, X# a6 f$ o2 T1 Q4 H：return file
0 n' m8 x' R+ g% S! N% o3 Q
request.parse(
        url='https://www.douban.com/group/explore',
# ^7 O5 a6 u) a( d0 e    Parsing = 'xpath',
    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
2 C$ b& m; v9 a+ v        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
0 V1 H% H* o- Y        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
/ y3 k! J4 |- S- T. H! U' m        },
0 G1 d/ ]$ N8 e! d8 l' U    # 字符串格式,具体保存位置填写
    write='result.pkl'
7 A2 D+ [( `' ~9 l7 Z).run()
, }/ l9 P, J+ k- O' V: Q4 E# return file

/ V3 o: J% e4 |; I; U$ ^第五种玩法：读取下一页 url 地址继续爬虫
这也是每个人都担心的问题，仅仅一行代码怎么可能翻页爬虫。这还真能做到哦~
  U/ s* `0 C7 ~5 ]8 k6 _2 q, X
' H6 Q8 X  B- ]1 ?$ ~! P' g* o; p特点：
3 ~# _% m4 b/ t% b2 l9 u% V继承之前的Parsing参数选择器选择方法。
% o9 Z& Y+ t5 p4 O) k在这里可读取到解析后的下一页 url 网址。
方可继续进行爬虫处理。方便用户使用。
: J- s3 u6 i/ m0 p( r! h
% w8 Z+ X9 W8 u! ~8 D7 ]缺点：
若爬虫时下一页 url 地址改变，便结束爬虫。
只能爬取所给 url 地址中的信息。
1 h0 k* _  ?# r8 o) j8 k无法进行某一界面的多个网页爬取返回。
9 p& S& R7 q7 I' X造成访问页面单一流失。

+ @/ j( W: R2 b8 Q：return None

8 w& u9 g6 L# p/ R* k; q  Srequest.parse(
6 N" `& y# ?, q- l; E        url='https://www.douban.com/group/explore',
    Parsing = 'xpath',
! O/ F% d- F/ ^) Z5 s; t4 K3 s    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
; U) T; m4 A4 f) m+ |8 n  w, p        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
    write='result.pkl',
7 z) h, F% k* Q  o5 ?# X5 i    # 字符串格式,根据Parsing方法继续请求下一页a中href
5 z  m) x$ O! F2 r( c9 L3 H    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
).run()
+ m) Y1 R6 ^8 x* u! s3 P# return None
+ j# S" s/ f: b7 I- I, M" l. i
; y# g/ r8 R( u- [, r第六种玩法：爬虫网页保存
听说过爬虫断续重连的朋友应该懂得这是个什么神仙操作。每次爬虫运行期间好好的，睡一觉醒来发现代码报错了。。。这就是个很难受的事，还不知道之前爬取到哪一页了，只能重新爬虫了啊！
) x. w+ m* Y0 w, }
特点：
持续输出断续笔记。
* ~5 K$ q7 j- K: q将此次爬虫的 url 地址保存到一个文本文档内部。
3 H) b% Y# `4 ?" p下次读取文本文档即可快速进行直接断掉的爬虫 url 地址继续爬取所需。
4 b+ k' s5 D. m
' T  [4 a, O3 W% }# k缺点：
/ D4 J& X  P$ i& W9 f  @+ \+ I+ K# f读取内容不单一。
导致下次爬虫无法正确读取上次爬虫留下的痕迹。

% x, {) t2 F6 O7 G5 f* w：return url_file

  J, D1 Y$ {5 U0 a. [5 d6 Brequest.parse(
    url='https://www.douban.com/group/explore',
    type_url='text',
1 L/ E$ h% V' t6 c1 U: t7 [    #login='taobao',
( I) r$ F( q) V$ x; u    Parsing = 'xpath',
    label = {
  q% T) X- C9 \  P' m        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
& |* {* v2 l5 O0 W# f. N9 I        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
2 j4 H4 n+ O0 _( a5 \        },
3 \' J8 w6 m8 n  K% m. F  T) P    write='result.pkl',
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
3 w8 U2 }! u: R% }3 U" O6 @& c    # 第一个参数为是否需要断续笔记。
    # 第二个参数为断续笔记保存位置。
1 u8 g' W0 P- H5 L8 l1 ^    page=[True,'url_page.txt']
).run()
# return url_file

第七种玩法：简单数据清洗
# }& b7 z1 |/ c/ n7 x数据拿下后，直接保存到本地有些大佬可能觉得很辣鸡，连清洗都不清洗就存入本地了？那得拿到多少废数据脏数据。那么接下来介绍一下清洗参数。
* Q; c! o8 e: N4 a; i: D
( ]4 F4 \) ^# E8 b特点：
$ R2 Z$ }. j  p# E, b7 f/ Z本人曾写过一个底层数据清洗。
# d2 f$ R8 L- i能将列表格式数据进行归分清洗。
主要内容请参考另一篇文章
如下连接：数据清洗
+ p( E9 J3 J+ m% j( T2 V; C' |: u
缺点：
5 m+ c2 P# S: p& }) |; [数据清洗格式简单。
* T! D) J4 L1 S$ M1 n8 D2 c# z数据清洗内容单一。
无法完全做到绝对清洗。
有待改善。

：return keyword_list, value_list

4 N9 o& e/ Z( @- zrequest.parse(
9 h# Q! w8 D7 {# i' Z    url='https://www.douban.com/group/explore',
( m; u' p# p  F% T0 I4 i/ [4 n3 l8 y    Parsing = 'xpath',
% N+ e& A0 p% M8 r; S    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
. j; O  o" ^) E/ [8 F& q$ T" v        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
+ A. Y4 Z3 q  G8 D& W0 y  v    write='result.pkl',
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    page=[True,'url_page.txt'],
4 A2 {0 u+ p, M6 n& j    # bool类型,默认不清洗
    clean=True
+ |, E/ h# ^: ]& O; b. T).run()

2 u2 b" H. e- V第八种玩法：爬虫存入数据库
: E# y2 [0 Y# j) y存到txt、存到csv、存到json、存到pkl，那也太low了吧。现在流行的数据库用不了么？那是不可能的。。

- j; [, C; u9 n1 p' n1 q/ ]特点：
信息存入MySQL数据库。
可连接docker远程数据库。
数据库的库名可以不存在。
2 K+ P7 S1 c) y3 b) P* z; u数据库的表名可以不存在。
根据之前传入字典键与值参数判断表类型。
4 L  C# C6 k- n' y1 E自由建立数据表传入信息。
. o2 g, @, s- X  G! G
缺点：
6 Y+ E% e7 B4 C" y7 y仅支持MySQL数据库。
+ k. S5 C# U1 v% ^( ]+ K1 B
：return SQL

% }+ J; W, n6 a4 t) U' _request.parse(
2 a0 d9 j' E; ?) |5 F) H* M+ l8 t    url='https://www.douban.com/group/explore',
    Parsing = 'xpath',
' v( a" c% H' }5 }* }, ?    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
; ?# i! u3 X+ k& C        },
. ^7 D6 }  k/ I; d% @    write='result.pkl',
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    page=[True,'url_page.txt'],
0 K; T8 x1 q8 B) j8 M) c    clean=True,
* ^( \1 Z0 }( f' H: |  _7 V! s0 }( g    # 字典格式,
    # host可有可无,默认localhost
5 q4 t- n; T# Y) n- _) Z8 g5 I$ q    # post可有可无,默认3306
    # user可有可无,默认root
    # password必要参数,数据库连接密码
    # db必要参数,数据库即将存入的库名
/ I# k! m' l; m, k, N) S* h$ w2 ~    # table必要参数,数据库即将存入的表名
    write_SQL={
        'host':'localhost',
        'post':'3306',
/ Z5 _) d# v9 G        'user':'root',
        'password':'123456',
# r& J' P% k0 L& x' b" D        'db':'example',
        'table':'example'
7 W+ X7 e* G2 O" u7 v        }
2 d+ q8 Y# ^, b9 F7 F    ).run()
+ D) F0 H6 D  Y; m- i% n
第九种玩法：重新启动爬虫
爬虫最让人厌烦的就是被一个不痛不痒的错误信息给终止爬虫了，比如意外的远程断开链接等低级非代码错误，报错之后还得重新启动断续爬虫，就显得很麻烦。我做了一期爬虫程序异常报错后重新启动爬虫，多次报错结束程序。

. {7 o  Y2 G" [0 `) X1 v6 }# E特点：
% z4 \/ I1 q% u检测报错重新启动爬虫
& \$ f0 }. ^! l无需手动处理错误信息
% t5 o; j9 ?3 I
缺点：
, K9 G# i  ^9 L9 {无法收集子线程错误。
/ e: y- T+ ?! L! F# m: u
2 F0 k  ?& F; d. C$ M( v1 m：return None

" i) h4 T! y. F% {request.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
! c# o" B' H7 A# t* i! R        #login="taobao",
! m/ g+ k# [+ F' r3 Q        type_url = "text",
        Parsing = 'xpath',
) {) ]4 Z* C6 q" G: ?        label = {
; A$ g' Z! E7 n0 R            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
. w+ o/ b6 _0 D/ ^% e, h            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
        write='result.txt',
; V! h) Q& `- t6 x, a* {- _% P        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
8 ^- d0 }4 S2 J: c1 O/ Z        page=[True,"now_url.txt"],
4 b6 t; Y/ |5 N5 U3 K- z        # texting 参数为是否启用连续爬虫
        # 爬虫程序异常报错后重新启动爬虫
        texting=True,
        ###
/ J; c) v* u- f- a+ i        write_SQL={
            'host':'localhost',
            'post':'3306',
9 h8 Y' a& ^8 f3 W/ K! s+ O            'user':'root',
            'password':'123456',
  F9 {# _0 e0 U8 F3 o% ?' V            'db':'example',
            'table':'example'
7 K- B/ u% M, o            }
- B, T& o3 \: a) B).run()

  d1 L4 T+ c& D8 p3 o0 x- x2 I第十种玩法：多线程爬虫
特点：
爬虫速度加快，
. A9 c$ Y: P! o2 l# n  L5 w更好的利用了线程。

# i- n) ^8 P( n0 I3 U4 j缺点：暂无

& m4 q5 E9 p5 q! ]：return None
/ z1 p) ~$ M$ v/ n" O5 y
$ F& ?& N9 D! `  Arequest.parse(
; p& v( _* \4 b6 j+ }        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
        type_url = "text",
        Parsing = 'xpath',
        label = {
/ t' ^& R* j" j3 C  m5 l, Z            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
& {8 f; v+ a2 S% t            },
        write='result.txt',
' J6 z) Y" h0 O        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
) D( P1 B$ I; @3 n4 H' V2 s        #clean=True,
        texting=True,
        # status="threads" 启用多线程爬虫
        # Thread_num 为线程数目,默认为1 单线程
$ `4 Q, C9 h4 `; p% r1 ]        status="threads",
        Thread_num=3,
# ~- O4 D7 F' h9 ^        ###
        write_SQL={
5 }! @4 g" `5 h% z9 S$ m9 {            'host':'localhost',
            'post':'3306',
! C" Q2 m  J8 L6 I6 b& q0 g            'user':'root',
3 B! U& p5 p! E4 a            'password':'123456',
7 }3 V" T1 o+ ^/ C6 J            'db':'example',
3 X! }# Y) p" f& b! l            'table':'example'
            }
).run()

第十一种玩法：多进程爬虫
, r, c8 F8 y. N/ W( G0 y/ j特点：
爬虫速度加快，
更好的利用了进程。

缺点：暂无
1 I1 S3 |- H/ C4 j% B: Z
：return None
; F7 z/ I- P( H. r
, D" K$ i; T/ z8 l3 t0 efrom simple_crawl import request
request.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
. V/ d3 Q* P0 D9 P1 S8 O        #login="taobao",
        type_url = "text",
        Parsing = 'xpath',
8 J3 [6 W& X5 g$ Z2 }+ e5 K) v        label = {
8 g: N( {0 t8 l4 D            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
, H! N9 n1 g( w( _% t( @: l            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
        #clean=True,
  n  l0 w5 O  T: M        texting=True,
        # status="multiprocessing" 启用多进程爬虫
2 |( r6 i8 P( p        # cpu_count 为启动代码核心数,默认为系统核数一半
3 R5 u+ `) S4 U7 k, ]0 P        status="multiprocessing",
        cpu_count=2,
        ###
7 B/ ^+ r5 B9 a' K' E        write_SQL={
: C5 V& R$ q  K5 c/ ^  |5 X$ p            'host':'localhost',
            'post':'3306',
            'user':'root',
            'password':'123456',
) M- P' J2 }7 y9 r3 _            'db':'example',
            'table':'example'
            }
2 j  d( N& J! Z# f).run()

' c  Y$ D2 |& I& ]第十二种玩法：异步多线程爬虫
0 k+ Q: x; A' s% S! X6 ^+ K: d特点：
, [5 v4 r+ X  a6 C4 v爬虫速度加快，
, q8 A  r3 q# `  A2 I9 G异步使得爬虫无等待时间，
# c; t- b/ q1 k/ A同时使用多线程速度明显加快。

; `0 s& n! r! m( Q6 v- z1 I9 o缺点：暂无
! x+ R0 Z. x- R' e! _, ?& o2 x# o
：return None

% h- Y8 i4 F/ z" \" |( N6 Y! ofrom simple_crawl import request
  \7 ^7 Z, m/ @- q2 hrequest.parse(
& E& F# ^7 b# q8 Q& K! _! c& C        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
3 t- ~2 q% g0 b" c        #login="taobao",
        type_url = "text",
4 Y; j% @( b" \. [8 ]7 g( i7 H        Parsing = 'xpath',
* M$ k  e; t# |        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
+ ~' z) }! S6 W9 h! T  j) b% X        write='result.txt',
1 L5 C- z- ]4 q# W5 z        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
        #clean=True,
; ^) n- a- _7 _. R  o) r+ n        texting=True,
        # sem 参数为异步引擎数目,默认为5
8 O7 J; P2 n1 g8 c# q! a  Z        # 其他参数同上
8 b5 Y( V$ q0 V/ z  n        status="aiohttp",
1 A; I! [+ e# n, Y$ n        Thread_num=3,
0 [( g" a3 g$ c! y+ n. \. B# d        sem=5,
7 D; K6 g  G" c( p) ^, Y- q1 X0 Y8 F        ###
0 V& f' [+ R$ f2 J# E        write_SQL={
& N8 R, b& P& l" t            'host':'localhost',
            'post':'3306',
7 P% @3 {; b; s6 }" d" c2 P            'user':'root',
            'password':'123456',
* `% Q3 x) i% r6 t8 ]' c, \            'db':'example',
( H( b* R* d: Z' v/ w1 B            'table':'example'
            }
5 r/ }8 G! K* X1 [2 S: d' \8 I).run()
: c% d4 W& Y, v! F" Q) r
# a$ g- O- M% S+ U第十三种玩法：异步多进程爬虫
  s3 I6 e4 v7 D$ F特点：
爬虫速度加快，
3 z$ M% d: u. }+ l4 S9 A异步使得爬虫无等待时间，
同时使用多进程速度明显加快。

缺点：暂无
  b) G1 P2 ?. t0 {: @* \" `
：return None
- H3 y$ ~' k7 i( F* J# g( d
from simple_crawl import request
$ M0 s: E5 |( N. X) Irequest.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
1 c$ H. p  r! d* i9 `4 ?        type_url = "text",
        Parsing = 'xpath',
        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
8 r- x" ]- g' V( x1 p2 r            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
3 k  v1 y2 K' ^        write='result.txt',
6 ]" L- m% l5 K" O$ S( x5 U        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
, n+ |& {- I. ?        page=[True,"now_url.txt"],
) g/ Y1 m$ `" b3 h- S2 @" v        #clean=True,
7 t3 n" L/ J: a6 V1 G        texting=True,
        # 参数如上
2 x) p* U' c5 X- F8 g! m& c        status="between",
, a- {3 r# A; g- x" {& n        cpu_count=1,
5 C# p% J7 V! k$ v/ N( x        sem=5,
        ###
+ O! w8 X  D8 q+ g- u        write_SQL={
            'host':'localhost',
: K' K! D, M9 l5 I            'post':'3306',
. _9 f# E/ t$ O6 l            'user':'root',
            'password':'123456',
            'db':'example',
            'table':'example'
            }
5 B3 K: W+ _$ q- @: E).run()

: {2 \1 a2 Q4 x9 p* a- n% [
功能介绍完毕🤞
4 X+ M, V# K& ^' y最后还是希望你们能给我点一波小小的关注。
奉上自己诚挚的爱心💖
0 h, f& D( u! o————————————————
9 @, X) U+ R5 r: ~: _+ I版权声明：本文为CSDN博主「꧁༺北海以北的等待༻꧂」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_45414559/article/details/106005684

8 `0 @/ H/ L$ I( J8 V& d
9 c7 E9 ?) r2 S2 l3 x2 h$ A# p

738391227

66666666666666666666666666666
7 [) A* ^& I- a6 t7 L8 r; b