Python爬虫仅需一行代码----crawl第三方库

zhangtt123

仅需一行代码写爬虫–simple_crawl
simple_crawl
. S$ @3 }. S" |, W+ R仅需一行代码即可达到爬虫效果
1 t- N3 H1 r- j项目地址(欢迎star):https://github.com/Amiee-well/crawl
使用方法
pip install simple_crawl

$ n6 w% J+ A# b4 H4 o8 p% k  U### 以下源代码为简单介绍,详细功能介绍再源代码之下
from simple_crawl import request
/ q, D( S4 u* a( x" C& D3 c" xrequest.parse(
        # status 参数为运行状态,支持单线程多线程多进程协程以及联合
8 u' K* ]9 g, |: K% E- o* |        status="aiohttp",
) _& S( C* k5 f9 Q        # url 参数为爬虫网址,单线程状态为字符串格式,特殊状态为列表格式
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        # login 参数为获取登陆信息,如淘宝等网址需要登陆信息
    #login="taobao",
6 G% E$ F4 ]$ R& R; {9 v) H    # type_url 参数为返回源代码格式,支持text和json,默认返回text
6 w7 x' _2 u- u' c6 I8 @. C; O    type_url = "text",
    # Parsing 参数为解析方法,支持re、xpath和beautifulsoup
    Parsing = 'xpath',
7 e, p: o: U* I    # label 参数为爬虫解析过程,字典格式,详情见下方
    label = {
- t  U0 `( d# E  {            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
/ t% t5 W6 w7 v3 ^            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
' z  L. `6 |* E% O  C7 F2 n     },
+ ~+ r; y3 J2 U6 u# h     # write 参数为爬虫结果保存,支持txt、csv、pkl、json,注:特殊状态爬虫信息容易混乱
: W0 g+ H6 O1 T' @5 \9 f) f- H  s6 }     write='result.txt',
. J; E* ~) E" Z6 y& O+ p7 O/ e: \2 z     # next_url 参数为下一页爬虫地址,@必须为href,仅支持单线程爬虫
     next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
     # page 参数为断续笔记,第一个参数是否启用笔记,第二个参数选填默认page.txt,仅支持单线程爬虫
7 a$ q# D7 R- M- |8 G     page=[True,"now_url.txt"],
+ u+ v+ J5 s$ d1 w; G$ J8 [: A     # clean 参数为是否进行数据清洗,防止大量爬虫收集无用信息
) g) o; f0 P: I8 x8 Q3 Y     #clean=True,
% o, P6 M4 s9 q! D5 @  y& o$ _& h     # texting 参数为是否选择连续爬虫,避免爬虫过程中出现非代码问题报错结束爬虫程序
4 q' _2 W3 T! ^- G0 N, c4 o8 j     texting=True,
     # Thread_num 为多线程数,默认为1单线程,支持多线程状态和异步状态
     Thread_num=3,
: l/ Z8 F) }( q. q4 }& g/ o  R     # cpu_count 为多进程数,默认为1单进程,支持多进程状态和联合状态
7 D2 `8 F2 F' t# G6 W     cpu_count=1,
4 \5 s  q2 S  x+ g( Z. m3 }9 E$ t; R     # sem 为异步控制数,默认为5同时启动,支持异步状态和联合状态
     sem=5,
2 d; T. S: u: Y: h6 m, S     # write_SQL 为是否写入数据库,默认否
     # host 参数默认localhost
0 ^: G3 z+ L- [( c6 h9 \% l     # post 参数默认3306
+ ]6 J5 J$ [) h/ K     # user 参数默认root
     # password 参数必填,必须正确
- c3 }# C% M& w/ O; U! o1 p# w     # db 参数为即将存入的数据库名,若不存在自动创建
7 r: N  F6 q2 w& F6 ]/ ]. F) |     # table 参数为即将存入的数据表名,若不存在自动创建
     write_SQL={
. w4 T% _% _9 \         'host':'localhost',
         'post':'3306',
         'user':'root',
  n4 G7 U. R) t9 }/ X$ y4 @         'password':'123456',
         'db':'example',
1 G0 U8 W4 x- Q* e9 X         'table':'example'
$ X; H& j+ w; P. u0 w' k      }
# C3 t8 }" p$ \/ v).run()
3 F, ]* ]- c4 G* |& s
0 K4 o- a: c: r  g/ B6 [& H! i介绍一下crawl参数设置：
0 d. Q( E  R+ S4 g
3 |) L# `4 Q& n'''
单行代码爬虫程序执行
/ q+ {0 {+ `' ~:param status:启用爬虫类型,支持普通爬虫、多进程爬虫、多线程爬虫、异步爬虫、异步多进程爬虫,参数请参考文档
' I8 b- h* S) i5 s$ O- m2 ~8 O) a+ {% n:param url:即将请求的url地址,仅支持get请求
:param type_url:请求url后返回格式,支持text和json格式返回
:param Thread_num:即将启动多线程个数,默认为1单线程
:param sem:协程信号量,控制协程数,防止爬的过快,默认为5
2 t$ }2 t3 `/ ^# l  h* m6 G  [:param cpu_count:运行爬虫使用多进程cpu核数,默认为系统核数一半
3 M! k  h5 c8 z& p1 u:param login:模拟网站登陆,保存登陆信息
:param Parsing:爬虫方式,支持re、xpath以及bs4方法
3 O" N8 ~" f6 R) I4 I- u& l:param texting:是否启用连续爬虫,爬虫程序异常报错后重新启动爬虫,
                       多次报错结束程序,默认否
* ~8 u$ m8 l, u1 \' |0 H2 i:param label:选择器内容,字典格式保存,
                     字典值为列表格式,第一个参数为选择器,第二个参数为转换类型
! Y' J6 f3 J" `# l                     第一个参数必填,第二个参数默认str类型
3 L. Y- h: O5 R+ @  H& S2 |; _:param write:是否写入文件,支持txt格式、csv格式、json格式以及pkl格式,默认否
:param next_url:是否跨页爬虫,选择器内容使爬虫继续翻页爬虫
:param page:是否选择断续笔记接手下次爬虫处理,默认否
6 d" V* i1 d  k( c( Y:param clean:是否进行简单类型数据清洗,默认否
:param write_sql:是否写入数据库,默认否
                         'host'默认为'localhost','post'默认'3306','user'默认'root',
                         'password':'密码','db':'数据库','table':'数据表',
, D, E4 c9 E2 m3 i0 S* ~6 [6 I                         检测库是否存在,若不存在则创建,若存在则直接插入,
$ i9 Q- Q; t7 K                         检测表是否存在,若不存在则创建,若存在则直接插入
:return True
# t$ i+ X4 ]  S1 q'''
介绍玩法
接下来介绍的均为调用第三方库的情况下运行：
) [2 G- W( |0 h5 O
from simple_crawl import request
  h5 G: K1 P7 H0 e7 I第一种玩法：输出源代码
. c8 x3 h/ {/ E( F  g2 r0 \- I调用requests库进行源代码请求。
" \! ]3 o1 W( }* v0 r2 ?/ |
特点：
$ [. D: D$ I$ l) N5 b' b请求失败则调用ip池处理重新请求访问，
出现五次失败默认网址输入错误。
: B3 Z" ]* i5 x" E支持text以及json字符串返回。默认text。

3 A* Z- b7 H4 S' s缺点：
暂时只能进行get请求，不支持post访问
) T6 h/ b- V* A  c3 R
：return text or json

4 `/ j' }9 l. Z' @  {request.parse(
1 G; n$ g1 D5 t0 u! R1 C# L" W        url = "https://www.douban.com/group/explore",
- Q1 `0 x: j5 N8 ^/ r, L        type_url = "text"
).run()
# return text

/ a1 M7 j- \6 C* W# B" I第二种玩法：模拟网站登陆并保存信息
) D' J& U5 d' [2 B( z, `, q调用DecryptLogin库请求登陆访问。

ps：DecryptLogin库为大佬皮卡丘写的一个很不错的模拟网站登陆库，在此引用一下，因为单行爬虫原因不支持账号密码登陆，我将大佬写的二维码登陆使用过来了。再次感谢大佬开源
在此放出文档地址
DecryptLogin库中文文档：https://httpsgithubcomcharlespikachudecryptlogin.readthedocs.io/zh/latest/

特点：
将DecryptLogin库中二维码继承到此库（非二次开发）
( M9 A2 F2 B6 s* \" A6 {/ C% w* y1 A支持QQ群、QQ空间、QQ安全中心、淘宝、京东和斗鱼登陆（大佬登陆库中所有的二维码登陆）
保存session.pkl信息到本地方便下次登陆运行
/ I$ ^3 w; t% y( C/ \
缺点：
; D" h3 r  {) ]; G) I! L/ gsession.pkl登陆信息过时无法自动删除。
导致下次登陆疑似cookie无法正常登陆。
, T! z, x$ t9 Y: m2 m
+ c3 Q+ P$ e4 C$ ^# _1 W:return session

0 p% r2 T/ v7 y* A2 ^, c) Orequest.parse(
        # 臭不要脸的推广一下我的店铺
$ j7 P6 O4 ^1 S8 p, j( ~0 @        url="https://shop574805287.taobao.com/",
; K4 G# N/ }9 Z/ U) T0 T2 n. R        login="taobao"
).run()
# return text
9 K  y1 L9 f1 ?- F9 D7 Z2 L
第三种玩法：爬取网站信息
# r3 @3 i  E3 G5 a: i爬虫库自然少不了爬虫的过程
" l, ^. N6 w8 l3 _
特点：
( G' E/ @8 T; n1 C支持re库，xpath解析以及bs4选择器。
6 |9 C& M) J+ ?+ d$ r/ X) {4 v爬取方法为字典格式。单方面输出。
/ z7 D7 X( E0 z8 t0 i2 N1 m字典键为保存的字段名称。
1 B/ k9 @. o: o字典值为列表格式：第一个参数为选择器，第二个参数为转换类型。第一个参数必填，第二个参数默认str类型。

; \+ Q" A) N! l; w- P缺点：暂无（等待小伙伴们发现）
  g/ D' |/ P3 h; D9 d9 r
- j* _, Y( d+ c! n! l：return reptile_results

# L! Y2 @9 P' C% A4 Q8 irequest.parse(
% [9 r9 A' R3 u, ~        url='https://www.douban.com/group/explore',
4 q1 h! c7 D. _$ n. `2 K        # 字符串格式,选择器方法。
    Parsing = 'xpath',
  z1 |- [4 W  @4 a( B: i# J    # 字典格式,参数如上。
' K; w$ }# g$ e. Q: x+ W- A    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
9 Y$ @& q5 }% ~7 {5 Q3 a- }7 ~) o( F        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        }
).run()
" z% w2 V1 I. N& o# return reptile_results（list）

第四种玩法：自由保存信息
: ~: G' E5 `. u: P4 t* I) A目前版本支持保存txt、csv、json以及pkl四大主流文件。日后版本更新将发布更为全面的保存方法。
/ O2 `. W$ A$ v; q2 H4 z& `
) L; W6 M" s7 ~3 q9 G* }特点：
" W8 v4 _6 }" w/ T- h写入文件均为数据格式传入文件。
且输入格式规范方便阅读and省事。

) n6 \9 ~! b4 Y! V  Z' u1 e2 K缺点：
. h) b! |2 X" d" F5 l保存格式仅四种，
不方便用户之后读写操作。

, i: f. W- O# o% D: L' c：return file
" ~: C" E: S& F, i' Q7 X. W2 E' L9 o
/ M8 A( g/ G, J5 Z! b. Frequest.parse(
        url='https://www.douban.com/group/explore',
6 ^" _# U  W3 |3 b. r5 Z    Parsing = 'xpath',
. w+ e. r9 C% a9 Y- z    label = {
) w: N$ k5 x' D# R, @0 l0 d        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
# K! s; b5 L( I' a& Y        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
4 e/ C' w. t8 U: v+ v: E! D2 k        },
    # 字符串格式,具体保存位置填写
" u- x0 k  i& T% `0 N% h' G5 X    write='result.pkl'
).run()
# return file
% q( r- A$ E; a9 z" F/ C, N
. R$ v( g- }9 b9 B7 ~2 e& {5 A2 _第五种玩法：读取下一页 url 地址继续爬虫
4 e" @" c. ]9 X这也是每个人都担心的问题，仅仅一行代码怎么可能翻页爬虫。这还真能做到哦~

  y) e! d4 Q1 |, b特点：
7 z3 p" ~; ~$ c继承之前的Parsing参数选择器选择方法。
在这里可读取到解析后的下一页 url 网址。
. L, O  A# t: G# F+ b* C9 S方可继续进行爬虫处理。方便用户使用。

9 a" I3 C& w& J0 |9 N# }缺点：
若爬虫时下一页 url 地址改变，便结束爬虫。
只能爬取所给 url 地址中的信息。
无法进行某一界面的多个网页爬取返回。
造成访问页面单一流失。
9 o' z9 o4 V7 U* `2 W
, b6 q' L6 Y( u6 X" K：return None
2 f$ _  J0 V# z4 z1 m4 Q/ [* N
4 J! l; X1 o, N. E' |+ [request.parse(
. ?8 r- M9 G' e5 _        url='https://www.douban.com/group/explore',
* B6 q  C$ s4 a  C' j- |8 C    Parsing = 'xpath',
    label = {
( \+ ~: M' k( Y% l* r        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
% L3 ~% g8 ]- o: k1 j% v        },
    write='result.pkl',
    # 字符串格式,根据Parsing方法继续请求下一页a中href
" k3 U4 j' A- i+ W; M    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
/ \! n, c1 i- [2 Y& m).run()
# return None
3 V  V( H7 Q1 x9 b5 N/ b7 J
& ^1 C' Y8 {' I* h" `3 c$ _5 m第六种玩法：爬虫网页保存
听说过爬虫断续重连的朋友应该懂得这是个什么神仙操作。每次爬虫运行期间好好的，睡一觉醒来发现代码报错了。。。这就是个很难受的事，还不知道之前爬取到哪一页了，只能重新爬虫了啊！
, j/ ~: I# A" K" A4 \) E
0 X8 _1 N; \. s0 J+ l特点：
# D+ n6 V! G3 s  r, }持续输出断续笔记。
将此次爬虫的 url 地址保存到一个文本文档内部。
6 {$ G, ?+ z6 ?& T) S, u, {下次读取文本文档即可快速进行直接断掉的爬虫 url 地址继续爬取所需。
8 t. Q" p2 q# B* d3 Q" z" m
& }; b# G' F+ p' [8 d缺点：
读取内容不单一。
7 u+ S- e6 v, D导致下次爬虫无法正确读取上次爬虫留下的痕迹。
, f* g- g, [' d/ o3 L6 A
：return url_file

request.parse(
    url='https://www.douban.com/group/explore',
    type_url='text',
' k$ q2 f) z$ e0 L    #login='taobao',
    Parsing = 'xpath',
    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
1 w& L( f0 {. b4 A! e; L) d) ?        },
1 N6 {. ^; L2 `6 r    write='result.pkl',
* N' v- {3 Y6 [; g1 l    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    # 第一个参数为是否需要断续笔记。
2 Y  {4 b3 t% @" S( P    # 第二个参数为断续笔记保存位置。
$ D; ?; c: t9 N    page=[True,'url_page.txt']
: k+ w. y2 ~  ?3 q) O5 A1 A).run()
# return url_file

第七种玩法：简单数据清洗
  Y" a5 Q* n4 b; M4 X. b, [7 \数据拿下后，直接保存到本地有些大佬可能觉得很辣鸡，连清洗都不清洗就存入本地了？那得拿到多少废数据脏数据。那么接下来介绍一下清洗参数。

( V: d/ `' u3 U- k特点：
本人曾写过一个底层数据清洗。
能将列表格式数据进行归分清洗。
! L7 ], w: [/ a9 {: M主要内容请参考另一篇文章
2 e( ^& h. r+ T& }0 D9 w% y如下连接：数据清洗

, e3 A) X* s) P6 y* r缺点：
数据清洗格式简单。
数据清洗内容单一。
无法完全做到绝对清洗。
有待改善。
6 M1 v, C2 \% v) a- u
, c! H, _0 \1 G：return keyword_list, value_list
7 {* m/ Y! e, p% Z! w. s
request.parse(
3 Q. G$ a% J. }; B: Q4 \    url='https://www.douban.com/group/explore',
    Parsing = 'xpath',
    label = {
. ^# a6 u) ^! ]2 ~2 S+ ~        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
9 ]9 ~# S" G" J7 S% m( }        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
    write='result.pkl',
; V. U7 V! K* |8 i6 `+ z$ K  L' R    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    page=[True,'url_page.txt'],
, Z# |# q/ v. P2 Q% R  I0 i8 e    # bool类型,默认不清洗
    clean=True
/ P+ V( k6 A, ?# X/ n).run()

第八种玩法：爬虫存入数据库
存到txt、存到csv、存到json、存到pkl，那也太low了吧。现在流行的数据库用不了么？那是不可能的。。
6 w, p* [3 I7 L# c4 ^( I9 [
1 e+ z9 U4 S. ]$ \7 I; Z特点：
信息存入MySQL数据库。
可连接docker远程数据库。
数据库的库名可以不存在。
$ F0 Q. K9 `# y/ D, _数据库的表名可以不存在。
; W" n' T3 G7 p3 n' D: a根据之前传入字典键与值参数判断表类型。
: T2 Y  w$ e0 W# q0 D- u( K5 N自由建立数据表传入信息。
: P' V* i& }& E% y
缺点：
仅支持MySQL数据库。
5 g0 E) q. ^2 P5 z2 P
6 e  ?' H* T) p  [7 Z8 l6 d：return SQL
+ l5 q+ g0 }( N% K3 K% z
; B/ y1 P/ j/ N  S5 wrequest.parse(
    url='https://www.douban.com/group/explore',
    Parsing = 'xpath',
    label = {
9 N8 @5 E1 E! n# Z. N3 r6 O        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
    write='result.pkl',
$ L  Q. q1 |2 c' O    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    page=[True,'url_page.txt'],
    clean=True,
$ r! L9 J7 a6 s- }% v5 x    # 字典格式,
    # host可有可无,默认localhost
* |. K. g$ V. x7 p& y    # post可有可无,默认3306
    # user可有可无,默认root
& ^3 g5 I! Z: ]7 O  P) r5 M    # password必要参数,数据库连接密码
+ ~2 q0 W+ Y8 c! f: O9 v    # db必要参数,数据库即将存入的库名
' i1 s: H. \1 [: L& a    # table必要参数,数据库即将存入的表名
# p7 y3 w: \0 V% t. P! C4 y& d    write_SQL={
        'host':'localhost',
. ]1 R0 s! L1 j$ h1 v& H! }( T        'post':'3306',
: G( _8 p5 y- X6 X2 |        'user':'root',
5 {( \  D& W2 V: f        'password':'123456',
5 B" p2 R/ q  m- ~6 O        'db':'example',
        'table':'example'
* D$ |, q+ |/ z$ I- G        }
1 F1 U; k: M6 Q! N    ).run()

2 B$ l! v% a* M6 B  h第九种玩法：重新启动爬虫
- Z! u. {# z7 |爬虫最让人厌烦的就是被一个不痛不痒的错误信息给终止爬虫了，比如意外的远程断开链接等低级非代码错误，报错之后还得重新启动断续爬虫，就显得很麻烦。我做了一期爬虫程序异常报错后重新启动爬虫，多次报错结束程序。
4 K7 I* I8 \/ G) d, S0 n, R+ n" U- }
特点：
检测报错重新启动爬虫
无需手动处理错误信息
3 P# {8 [" }! J2 B# k/ L! x9 O
缺点：
无法收集子线程错误。
, K" a7 n6 S) n9 H! d
' k6 h9 D5 T" Z6 ]：return None
) ^' i& m7 g  ?  @# j: [
request.parse(
* V4 T! R2 L4 B0 ]* y1 o        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
        type_url = "text",
        Parsing = 'xpath',
  |5 ?1 o; I- M9 [9 x1 \        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
6 O5 O3 t* j1 m            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
# k# B. D8 n; s. X            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
        write='result.txt',
  |8 [/ N) z3 a8 |" @        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
% f+ @( I. E2 e+ j$ v. _        # texting 参数为是否启用连续爬虫
        # 爬虫程序异常报错后重新启动爬虫
        texting=True,
        ###
7 X% t7 G, w  k! Q% M0 r( r) e        write_SQL={
$ V. w/ e4 a- G/ u- e. u            'host':'localhost',
5 }0 B- `; T( n( J$ O            'post':'3306',
            'user':'root',
            'password':'123456',
7 i" @; |) A% y4 y5 g& W            'db':'example',
            'table':'example'
" z' \2 N& J  {( U7 I' C& k            }
).run()
$ ^8 ], D: S3 ^* S- c4 g7 \! V4 K* Z6 o
第十种玩法：多线程爬虫
- \( J, `8 U/ R" E特点：
- O2 o" C. ~+ e& R( U爬虫速度加快，
更好的利用了线程。

缺点：暂无

/ W9 w0 ^: x% g* z* ]：return None

3 w+ ~5 p3 Y% P" C$ [, yrequest.parse(
" i2 K+ M* G# e' E" d5 a: b3 H        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
4 D1 {9 C0 n  E# ~        #login="taobao",
- U8 G! E3 }8 N7 {8 d3 \! J        type_url = "text",
        Parsing = 'xpath',
6 A! `. e: r7 f% v! H% h2 c' J        label = {
% B5 X& C: e% S; B! ~1 r            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
; n# }. S! o" [8 R            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
0 v. d! j. D* S- E3 Q            },
: B, V* n9 x7 ]        write='result.txt',
1 v0 V: u! T- k/ c0 C        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
        #clean=True,
# Y# B2 c8 S# V0 n; g: V0 x        texting=True,
        # status="threads" 启用多线程爬虫
. D9 Q9 W5 I1 O: w        # Thread_num 为线程数目,默认为1 单线程
. T( n) t1 L( X; h0 H# [        status="threads",
0 b% m# K) t2 t- R$ _1 o5 x; C        Thread_num=3,
' T! m% `; t# r, j3 R        ###
# ]3 f' E. e' N/ @* J        write_SQL={
            'host':'localhost',
            'post':'3306',
            'user':'root',
            'password':'123456',
            'db':'example',
& f7 a' p  m3 b' t  p  o0 T6 t- R0 h! s            'table':'example'
            }
' ]' h2 ^0 u% y1 e' v).run()

第十一种玩法：多进程爬虫
; k6 M7 j5 {3 _% W+ Y特点：
爬虫速度加快，
更好的利用了进程。

缺点：暂无
4 R# T% H; f4 }# u! n2 |7 c/ T
：return None

from simple_crawl import request
request.parse(
& u3 Y4 H4 ^7 D7 q        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
- c2 _, r& ]$ `& s" f4 S        type_url = "text",
        Parsing = 'xpath',
        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
) x+ b6 G  d( [" L1 y  g' \2 u& L            },
5 }" e- W. w* G6 H/ t+ Z6 ]        write='result.txt',
/ q% L: J& O2 g2 _! g& k        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
( n) D' a2 |" u7 q& @  j! w- y' |        #clean=True,
4 H1 m) D% X$ e! `! y3 o# q8 g        texting=True,
8 O3 G& F2 I9 \6 C1 g& ]. `; |( K        # status="multiprocessing" 启用多进程爬虫
        # cpu_count 为启动代码核心数,默认为系统核数一半
        status="multiprocessing",
        cpu_count=2,
        ###
: A# F# z0 y5 Y6 j4 r  D5 ^        write_SQL={
            'host':'localhost',
  i5 V3 J* Q7 s            'post':'3306',
            'user':'root',
            'password':'123456',
            'db':'example',
( E& f9 [6 v1 a; ?9 L: |! B            'table':'example'
4 R% D6 z: u7 R            }
).run()

3 U* K$ ]" G) x, k9 k第十二种玩法：异步多线程爬虫
: ?7 j* r. r$ X4 ^  _特点：
爬虫速度加快，
7 V4 U& F& v6 C- H异步使得爬虫无等待时间，
! l% x8 }. A  C0 `# [. i同时使用多线程速度明显加快。

' \" B$ K+ E" _3 J缺点：暂无

/ H& J" k& R, k& z1 j) H8 E) v：return None

, A5 M! ]7 @) r( _6 J% T8 Pfrom simple_crawl import request
request.parse(
1 t' v- x, Y! I  `5 T. K        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
/ z& ]) `2 W' ^% X! r6 F" b        #login="taobao",
8 F0 n$ A% u/ [        type_url = "text",
; n/ @: k$ |: d( W. g$ k9 P        Parsing = 'xpath',
& I  {. R: L/ I- H( n        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
" [9 s2 M% h' A" m            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
% S+ F' g1 D& ^, Q* G            },
        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
. N, B8 v* [/ u, A+ B! z        page=[True,"now_url.txt"],
        #clean=True,
        texting=True,
        # sem 参数为异步引擎数目,默认为5
        # 其他参数同上
        status="aiohttp",
; D0 @5 m! n4 n) q$ O6 L        Thread_num=3,
        sem=5,
7 {: S4 k7 C, a0 z1 H* r2 p. s9 t        ###
        write_SQL={
( n" J1 V' {- U8 P/ n, r1 [            'host':'localhost',
            'post':'3306',
( @! T0 D# [2 c  P            'user':'root',
. J& o+ ?$ p/ t! A+ m8 @9 T* y            'password':'123456',
( k# i1 F* q- q5 N            'db':'example',
            'table':'example'
: F: ^: @. v9 v2 A; k( s9 n            }
, N/ F7 e5 |9 {& Y# [. }" o).run()

. h1 {% Y9 [5 N第十三种玩法：异步多进程爬虫
特点：
( u9 j, e8 N6 a" Y: Q爬虫速度加快，
: c2 F( _# J# P0 p8 E2 g& f, V7 w异步使得爬虫无等待时间，
同时使用多进程速度明显加快。
$ ]) d6 S( k) ?: ~4 n
1 ~5 d5 ^( h- o- y2 p# U8 k缺点：暂无

：return None

from simple_crawl import request
( v4 M* C3 }* G+ trequest.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
        #login="taobao",
: K  M- k7 ]5 d" e( W        type_url = "text",
        Parsing = 'xpath',
2 I& X6 r* @1 `7 k6 g        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
0 E  s) b; m9 o( n! ?            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
, r& ]& p! q. ~! D7 d        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
' A7 ^+ K4 o4 M3 l7 v" Z        page=[True,"now_url.txt"],
2 Q& M/ e3 _( |5 D) I        #clean=True,
        texting=True,
8 {: P4 K! Q, y3 T        # 参数如上
+ O% M, c6 e- n        status="between",
  U( p8 I+ m, T        cpu_count=1,
        sem=5,
- C! c( d: U& A0 N8 Y- w5 y        ###
4 j1 e& c' I/ n9 F        write_SQL={
1 V4 `. \4 Y5 o: f/ X  d            'host':'localhost',
5 w# I5 ~2 L% e            'post':'3306',
. w! y! }. p" J  Y' K! o            'user':'root',
, E) L( c  L7 i" f/ ?. n            'password':'123456',
+ ]8 d' i7 m  O; g9 ]5 `            'db':'example',
+ n" c3 q( V3 \5 Q7 W; S, ?8 ]9 P9 O            'table':'example'
! ?1 V- k$ l7 v, V% b            }
).run()


功能介绍完毕🤞
3 w+ V& V# d* F) y) b) j最后还是希望你们能给我点一波小小的关注。
1 _, Z; k5 k% d7 }# \奉上自己诚挚的爱心💖
% ]8 Z" J  b3 f' u9 F, _————————————————
: G; H( H* J0 c" C版权声明：本文为CSDN博主「꧁༺北海以北的等待༻꧂」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_45414559/article/details/106005684

+ c; V* A" Z3 W% n# n

738391227

66666666666666666666666666666
" K+ o1 _( z! V& u7 V" t" f* W