Python爬虫仅需一行代码----crawl第三方库

zhangtt123

仅需一行代码写爬虫–simple_crawl
5 T* O; P4 {& j  Q4 zsimple_crawl
仅需一行代码即可达到爬虫效果
项目地址(欢迎star):https://github.com/Amiee-well/crawl
" A2 O& s3 L, P8 h1 d0 n使用方法
pip install simple_crawl

### 以下源代码为简单介绍,详细功能介绍再源代码之下
from simple_crawl import request
request.parse(
& F$ m6 m2 D2 T3 H/ S; ?+ j        # status 参数为运行状态,支持单线程多线程多进程协程以及联合
        status="aiohttp",
        # url 参数为爬虫网址,单线程状态为字符串格式,特殊状态为列表格式
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
4 M; I- Q3 \/ T# s! @0 X+ E' ]        # login 参数为获取登陆信息,如淘宝等网址需要登陆信息
    #login="taobao",
, R0 x* l8 c, x7 H    # type_url 参数为返回源代码格式,支持text和json,默认返回text
3 ]+ d% b9 N: R/ G. o    type_url = "text",
$ D8 D( s4 E2 M" i5 n9 s4 `    # Parsing 参数为解析方法,支持re、xpath和beautifulsoup
* c0 G+ J1 H( c6 b% D: m    Parsing = 'xpath',
    # label 参数为爬虫解析过程,字典格式,详情见下方
    label = {
/ s$ S3 S: D" ~) f, q2 d, p            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
$ Y! Z' k, E* ]3 Q$ _: B1 \  e            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
* W, R8 x( u' Z' f$ D) s     },
! g, f, F! D. a& ~4 i4 w     # write 参数为爬虫结果保存,支持txt、csv、pkl、json,注:特殊状态爬虫信息容易混乱
4 ~: V0 `8 k+ g$ r' o4 X. q7 M     write='result.txt',
: E" Q! o( }2 z6 N/ c     # next_url 参数为下一页爬虫地址,@必须为href,仅支持单线程爬虫
     next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
1 Z5 X5 a& X7 J# h# c     # page 参数为断续笔记,第一个参数是否启用笔记,第二个参数选填默认page.txt,仅支持单线程爬虫
6 o! }# d  v  y% z  o" e' h3 T     page=[True,"now_url.txt"],
3 v! U* O  g4 i8 f+ W     # clean 参数为是否进行数据清洗,防止大量爬虫收集无用信息
5 S% _, e) J" F% i1 Y     #clean=True,
     # texting 参数为是否选择连续爬虫,避免爬虫过程中出现非代码问题报错结束爬虫程序
! G7 @% x0 B& ]5 A# A: p2 d     texting=True,
7 n) {) F' p4 b4 _' k8 n$ \     # Thread_num 为多线程数,默认为1单线程,支持多线程状态和异步状态
     Thread_num=3,
. h3 |. V5 u) u. {     # cpu_count 为多进程数,默认为1单进程,支持多进程状态和联合状态
     cpu_count=1,
, }' |, b8 Q% W     # sem 为异步控制数,默认为5同时启动,支持异步状态和联合状态
     sem=5,
     # write_SQL 为是否写入数据库,默认否
/ Q% ?' P8 s0 J9 d     # host 参数默认localhost
+ K* A6 W5 r3 I     # post 参数默认3306
2 l& D% u5 y3 p$ a     # user 参数默认root
     # password 参数必填,必须正确
     # db 参数为即将存入的数据库名,若不存在自动创建
     # table 参数为即将存入的数据表名,若不存在自动创建
     write_SQL={
0 z7 h' `0 M# r% Y8 F' @4 E$ v         'host':'localhost',
         'post':'3306',
         'user':'root',
4 |, v1 W9 Y& l: \% p         'password':'123456',
         'db':'example',
: J& ~6 C+ w0 N; [( l         'table':'example'
      }
+ n0 Y% ]1 x5 ^/ R7 [).run()

, o) M/ y. ~2 v2 S1 ^介绍一下crawl参数设置：
8 d7 {6 o. h& ~. V1 j; S  o* R
'''
单行代码爬虫程序执行
:param status:启用爬虫类型,支持普通爬虫、多进程爬虫、多线程爬虫、异步爬虫、异步多进程爬虫,参数请参考文档
:param url:即将请求的url地址,仅支持get请求
:param type_url:请求url后返回格式,支持text和json格式返回
+ n; P3 S  k* k, \, r& u:param Thread_num:即将启动多线程个数,默认为1单线程
:param sem:协程信号量,控制协程数,防止爬的过快,默认为5
- _0 i  Q# _5 R/ }; Z:param cpu_count:运行爬虫使用多进程cpu核数,默认为系统核数一半
& R! J9 k" {! r6 k: B8 N:param login:模拟网站登陆,保存登陆信息
:param Parsing:爬虫方式,支持re、xpath以及bs4方法
:param texting:是否启用连续爬虫,爬虫程序异常报错后重新启动爬虫,
$ m; H9 X# r6 z3 `0 f8 c( V! V                       多次报错结束程序,默认否
:param label:选择器内容,字典格式保存,
                     字典值为列表格式,第一个参数为选择器,第二个参数为转换类型
1 M3 f6 i2 h  m  @                     第一个参数必填,第二个参数默认str类型
:param write:是否写入文件,支持txt格式、csv格式、json格式以及pkl格式,默认否
:param next_url:是否跨页爬虫,选择器内容使爬虫继续翻页爬虫
:param page:是否选择断续笔记接手下次爬虫处理,默认否
5 v6 S$ i/ C' _% ^5 n- P9 ^:param clean:是否进行简单类型数据清洗,默认否
:param write_sql:是否写入数据库,默认否
9 w3 k, i: h- F. z, g                         'host'默认为'localhost','post'默认'3306','user'默认'root',
                         'password':'密码','db':'数据库','table':'数据表',
                         检测库是否存在,若不存在则创建,若存在则直接插入,
, J5 M, @5 T5 ?4 \8 X' H0 w, Z  T4 E                         检测表是否存在,若不存在则创建,若存在则直接插入
:return True
'''
$ _# g7 _1 K3 r介绍玩法
接下来介绍的均为调用第三方库的情况下运行：

from simple_crawl import request
6 T( K" G4 O3 F) ~第一种玩法：输出源代码
& C! `# Y2 i+ t调用requests库进行源代码请求。

特点：
. |* _8 t- Z' w/ g请求失败则调用ip池处理重新请求访问，
! `% e; u% A) h. G出现五次失败默认网址输入错误。
支持text以及json字符串返回。默认text。

缺点：
暂时只能进行get请求，不支持post访问
4 J8 E; P0 O5 T6 u
：return text or json

7 {# Y3 V/ q2 f! L, Crequest.parse(
        url = "https://www.douban.com/group/explore",
! m/ S2 K" O, G& d        type_url = "text"
, F8 ?" I+ h& Q2 {; n/ C).run()
  G0 e3 _1 e: M" e# R  d, r  \# return text

第二种玩法：模拟网站登陆并保存信息
0 [0 ^* s5 L6 `' r2 i1 N+ W调用DecryptLogin库请求登陆访问。
6 Q  ]  ]9 E, E2 V
+ ^0 B$ x: s) j4 w. }ps：DecryptLogin库为大佬皮卡丘写的一个很不错的模拟网站登陆库，在此引用一下，因为单行爬虫原因不支持账号密码登陆，我将大佬写的二维码登陆使用过来了。再次感谢大佬开源
- V# X! J" e% T$ H; N在此放出文档地址
2 l/ L! S* H/ T& A. I* N2 JDecryptLogin库中文文档：https://httpsgithubcomcharlespikachudecryptlogin.readthedocs.io/zh/latest/

; ]4 U3 I2 f1 [  a特点：
将DecryptLogin库中二维码继承到此库（非二次开发）
# ?5 C* o" ^, m  R# g$ v支持QQ群、QQ空间、QQ安全中心、淘宝、京东和斗鱼登陆（大佬登陆库中所有的二维码登陆）
. D" K/ I, ?5 V& l3 w& X( o保存session.pkl信息到本地方便下次登陆运行

, c) W  F" ^- A7 t* h# F缺点：
session.pkl登陆信息过时无法自动删除。
2 L% z, }! a$ }6 f9 x8 G6 U! }导致下次登陆疑似cookie无法正常登陆。
" }- u& t8 |5 {
; j4 N$ u. D, K& _  S:return session
" ~, {/ x) y$ b  Y7 x7 J
request.parse(
. r6 k5 @6 s/ C0 u        # 臭不要脸的推广一下我的店铺
        url="https://shop574805287.taobao.com/",
        login="taobao"
, k% q9 {6 y, E9 @).run()
# return text

第三种玩法：爬取网站信息
爬虫库自然少不了爬虫的过程
; e. q$ ]- r0 i
& Y* k5 @  i: o, }9 C" r4 `特点：
! @. h$ {+ o  f: G5 o1 o支持re库，xpath解析以及bs4选择器。
爬取方法为字典格式。单方面输出。
4 e1 J; C+ C& |2 V, D" B( x字典键为保存的字段名称。
& g  N2 D% j8 g) N/ s+ e% |字典值为列表格式：第一个参数为选择器，第二个参数为转换类型。第一个参数必填，第二个参数默认str类型。
* w/ W2 i$ `; H: R% y" E/ j
缺点：暂无（等待小伙伴们发现）

# y) D; g/ y. C# K- S% K6 X" Z：return reptile_results
: ~- X5 Y7 g& o! y9 u6 X  T6 F
3 N, p9 `+ r; b/ m$ Rrequest.parse(
( b  B9 J+ h0 @7 j3 x+ K$ ]        url='https://www.douban.com/group/explore',
        # 字符串格式,选择器方法。
6 m' C# Q7 |7 }    Parsing = 'xpath',
% h: E6 M/ |* U& n4 x( M    # 字典格式,参数如上。
    label = {
' I! q& {- B, [+ R( h        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
+ S% P; p  u3 K1 b, t        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        }
- X: e* \3 g9 I- p7 A/ U& i).run()
# return reptile_results（list）

& W7 z( Z4 }: x) |. i! a第四种玩法：自由保存信息
目前版本支持保存txt、csv、json以及pkl四大主流文件。日后版本更新将发布更为全面的保存方法。
/ |9 `6 V0 K+ a" l" K1 O
) I  X; f# `# ^( O* w2 C: A特点：
写入文件均为数据格式传入文件。
且输入格式规范方便阅读and省事。
# ~6 }4 e& N) w& m9 s% l
: y! l  D: `  G缺点：
, [* w" b7 `$ E* y% L8 W; J保存格式仅四种，
+ f4 b+ J5 D* X6 U* B1 \不方便用户之后读写操作。

& W: F  u- V+ L4 J/ D8 D9 B- ]. G：return file
/ ?/ W( ?2 Z5 `- m9 S( }3 [
4 n3 p7 }' J/ O! i/ O7 C/ w, X! Nrequest.parse(
$ l% p1 i, k/ g. _2 G# t: d) |        url='https://www.douban.com/group/explore',
  V9 Y0 j: L: @1 U* H# u2 R    Parsing = 'xpath',
& Y% `& P9 |) j( h. O2 ?: D    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
3 d& D5 ~( b2 \' F        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
0 u  m/ H* O: H2 d! w4 x6 O. n        },
+ m1 f8 v+ |# c8 m# u6 ^! x; @    # 字符串格式,具体保存位置填写
# U: B5 c$ c3 \6 r9 O# M    write='result.pkl'
8 w& @  v, H2 R4 n* N& x).run()
# return file

! o6 U6 ?6 m/ ?, f( [/ B, b& i第五种玩法：读取下一页 url 地址继续爬虫
) w2 [: d# l+ l这也是每个人都担心的问题，仅仅一行代码怎么可能翻页爬虫。这还真能做到哦~
' P# ^! O6 B4 C
特点：
继承之前的Parsing参数选择器选择方法。
在这里可读取到解析后的下一页 url 网址。
& U& A. H6 m  K% K  E方可继续进行爬虫处理。方便用户使用。

缺点：
若爬虫时下一页 url 地址改变，便结束爬虫。
只能爬取所给 url 地址中的信息。
+ q( M2 I0 e0 L无法进行某一界面的多个网页爬取返回。
造成访问页面单一流失。
$ v2 E/ ?. `' R2 v  }  X1 D
：return None

5 a7 M$ p% ^5 J( l" Arequest.parse(
        url='https://www.douban.com/group/explore',
0 l/ o) G  T1 I4 Q    Parsing = 'xpath',
8 [$ a5 g- c8 j* ~; j' J0 U5 C    label = {
" J5 |9 b9 [" ]! G  E        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
& ?* F& E: I/ L  ~    write='result.pkl',
    # 字符串格式,根据Parsing方法继续请求下一页a中href
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
8 \% x0 a* c& P).run()
1 v4 d# b% A5 W( D/ [2 ^2 j) |# return None
- g4 ]1 C7 z, g+ a' o
! q0 h; }( a+ E  Y3 T+ V/ Z第六种玩法：爬虫网页保存
+ D4 U8 Q9 g$ Y6 F7 ?$ T+ L1 \, J听说过爬虫断续重连的朋友应该懂得这是个什么神仙操作。每次爬虫运行期间好好的，睡一觉醒来发现代码报错了。。。这就是个很难受的事，还不知道之前爬取到哪一页了，只能重新爬虫了啊！

特点：
持续输出断续笔记。
将此次爬虫的 url 地址保存到一个文本文档内部。
下次读取文本文档即可快速进行直接断掉的爬虫 url 地址继续爬取所需。
5 E/ Z2 r7 s! z
, X% G7 w5 Q2 \' q0 @( N缺点：
读取内容不单一。
导致下次爬虫无法正确读取上次爬虫留下的痕迹。

：return url_file
( z7 c/ J7 V6 D% f! W
8 M) A# l' I/ D$ r' n( frequest.parse(
, w( W: p5 R$ w5 m% d& i    url='https://www.douban.com/group/explore',
! }. k0 c9 Y2 L7 L8 _+ j3 D    type_url='text',
( t6 \9 }4 r" U' r6 l" D1 C8 H    #login='taobao',
    Parsing = 'xpath',
( c* ~  x& m5 ~9 G, X& ?    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
$ H# f% K. S8 q4 O$ b" |        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
( x; j7 R' |+ D' N) e' D        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
& G# ], v8 F  g3 o) m; g    write='result.pkl',
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
, @8 u& u) o8 r. U    # 第一个参数为是否需要断续笔记。
    # 第二个参数为断续笔记保存位置。
    page=[True,'url_page.txt']
5 J4 [- ^! }  ^& x- h0 n: |* v).run()
& y6 u$ L! @. i9 a# return url_file
6 a/ z; a4 Q" E
- o( q2 N% E/ _" b7 x第七种玩法：简单数据清洗
数据拿下后，直接保存到本地有些大佬可能觉得很辣鸡，连清洗都不清洗就存入本地了？那得拿到多少废数据脏数据。那么接下来介绍一下清洗参数。

1 x0 ]7 h4 c8 C' \4 T特点：
3 R- a* b' t6 W本人曾写过一个底层数据清洗。
" N5 s* L$ J9 J7 b! I能将列表格式数据进行归分清洗。
$ L/ a( \# F5 v. Q- C0 j; R主要内容请参考另一篇文章
如下连接：数据清洗
' z5 S4 D, m8 J) e8 B% \" |
缺点：
5 J6 s  o/ N; N7 B' N数据清洗格式简单。
3 `  t6 v7 W+ ]9 c) X数据清洗内容单一。
无法完全做到绝对清洗。
有待改善。
3 T* f$ g& u: O
：return keyword_list, value_list

: D! B& S0 p- W+ j/ o' ?3 q& q) c0 Frequest.parse(
    url='https://www.douban.com/group/explore',
' {& c. G# c: q$ z$ I9 K9 @% o    Parsing = 'xpath',
    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
% l" V7 c4 A; h) D        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
        },
/ o3 u* k5 v: i8 U' h* H4 J' q    write='result.pkl',
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    page=[True,'url_page.txt'],
! Z  |% o, c9 Q    # bool类型,默认不清洗
    clean=True
).run()

+ b0 k' m0 E7 ^- ]# b  h% H1 p第八种玩法：爬虫存入数据库
存到txt、存到csv、存到json、存到pkl，那也太low了吧。现在流行的数据库用不了么？那是不可能的。。
" |  R# Z! S. k# H; x  f
* R3 e! J6 x, j0 N+ E6 Y特点：
信息存入MySQL数据库。
. Z2 k/ N/ Y$ Y8 H5 @8 g" u可连接docker远程数据库。
7 _+ q: X" {* |; k! k$ \数据库的库名可以不存在。
数据库的表名可以不存在。
. u4 d6 K( n& D8 s6 o. l* s根据之前传入字典键与值参数判断表类型。
( S$ K* @3 |7 x" B- D; E% A自由建立数据表传入信息。

缺点：
仅支持MySQL数据库。
9 y0 J! k& j  I/ g. i; I# e
+ D$ u, ~' p( V% U& i：return SQL

request.parse(
    url='https://www.douban.com/group/explore',
    Parsing = 'xpath',
    label = {
        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
, o0 R5 {$ X4 K# v0 U( L$ T        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
% Z4 n" l7 R1 L" l& X& ~5 v* \        },
    write='result.pkl',
    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
* ~4 _. r" p; _( _9 o; ]7 c! w    page=[True,'url_page.txt'],
    clean=True,
    # 字典格式,
    # host可有可无,默认localhost
    # post可有可无,默认3306
  w! W# ^; N- `6 d- i# p# O    # user可有可无,默认root
    # password必要参数,数据库连接密码
    # db必要参数,数据库即将存入的库名
    # table必要参数,数据库即将存入的表名
0 `+ s3 f9 x) h8 P7 n  _7 p    write_SQL={
3 O) Q$ y( v9 J# u7 ]4 u        'host':'localhost',
. @5 l5 `4 P  x' y2 ]* y5 y        'post':'3306',
        'user':'root',
* }9 ^) {( Z# j  @5 e- J3 L; X        'password':'123456',
        'db':'example',
        'table':'example'
* Q9 K% b$ y8 q% n" B' `6 z7 q        }
! N  C1 E. e9 ]    ).run()
$ i7 o8 w3 s3 b3 G1 d% Y/ C
' |& H/ ^1 g2 Z: ?0 p" g7 ]第九种玩法：重新启动爬虫
6 h6 X8 U2 n# O2 l爬虫最让人厌烦的就是被一个不痛不痒的错误信息给终止爬虫了，比如意外的远程断开链接等低级非代码错误，报错之后还得重新启动断续爬虫，就显得很麻烦。我做了一期爬虫程序异常报错后重新启动爬虫，多次报错结束程序。
: ~# Y* M6 c& H% Q& f2 r, A# p
  f; L5 k0 E  s! k特点：
检测报错重新启动爬虫
( K0 B0 a+ c' O无需手动处理错误信息

缺点：
) J: u  _: U' w. j  q% L( w0 c5 ?无法收集子线程错误。
* n. K/ [6 H, ~( v1 F
：return None
$ X0 u5 i. j1 @
. h. V# e% R1 g* Jrequest.parse(
2 f) C* z; [; {1 M6 a% p        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
' |7 s; V7 F( p4 W( Y        #login="taobao",
        type_url = "text",
, [+ X! b' I. w7 D        Parsing = 'xpath',
        label = {
3 j1 N. F# }8 s; @; F% F            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
$ u& d4 C( i9 I# j" B3 K  o            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
9 _1 p' v6 y  Z( M            },
        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
( |1 U+ J; g! E' X$ o5 Z1 L        # texting 参数为是否启用连续爬虫
        # 爬虫程序异常报错后重新启动爬虫
0 a  t# w' O# J' D        texting=True,
        ###
- h1 ]) @- l0 L/ {) @( ~        write_SQL={
) p* I5 Q/ G5 s2 L4 ~; c9 @            'host':'localhost',
            'post':'3306',
, E) W7 y0 b" T$ l0 d            'user':'root',
8 k  ?( g! R- h* o9 i1 B            'password':'123456',
9 ~; k1 D1 O; h! k7 x            'db':'example',
: A" V& X& Q" p4 J2 q            'table':'example'
            }
; h9 C# v" H6 t3 k; u$ D% \+ Y. @: b).run()
: K# M% A' J1 C" ?) _7 T/ M) S
第十种玩法：多线程爬虫
5 @+ q7 a+ M3 y特点：
爬虫速度加快，
1 H. E4 H9 ?( f1 \* w更好的利用了线程。
) N6 w1 H8 j) [6 E9 v, I- ?
9 k8 A3 ^% A+ Q: i: y3 n1 T缺点：暂无

：return None
0 W; A; C* T( y& G+ |! M2 ?
; P; m! j, ~8 y; ^% P6 P0 Wrequest.parse(
        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
* K- b5 i) q1 P1 F1 {  R* V        #login="taobao",
        type_url = "text",
- d; H! Q8 U1 e! o6 N# I; V3 g1 Y        Parsing = 'xpath',
2 ^( Q) d7 F7 b) |. a- w  w0 \+ M9 B        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
% M5 |! l, ?, G6 p5 h        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
% Z7 v* W2 y; ]1 `, y. N8 a        page=[True,"now_url.txt"],
# R; G+ [/ W9 V1 i+ `; F        #clean=True,
        texting=True,
        # status="threads" 启用多线程爬虫
        # Thread_num 为线程数目,默认为1 单线程
        status="threads",
        Thread_num=3,
        ###
* D3 d$ Z9 d! ~0 D        write_SQL={
            'host':'localhost',
            'post':'3306',
            'user':'root',
- b$ L. G( ~- i) b  m0 b            'password':'123456',
            'db':'example',
2 r: j, Q0 y4 n9 h            'table':'example'
            }
# @1 V/ c( M3 L5 |& x).run()

第十一种玩法：多进程爬虫
9 V7 w6 h+ j: t% @* }特点：
爬虫速度加快，
3 D( f( {! `; F5 ^; b3 V! t7 k& a- S% C/ k更好的利用了进程。

缺点：暂无

4 v: f  v4 l* k% P1 J: j：return None

9 x1 B( w; m. P4 f' R7 xfrom simple_crawl import request
# e. f9 O( {" w& ^4 Z$ U# [$ _; ]request.parse(
/ {' w% B& [5 X; ~        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
. P& w1 [4 [) i# v+ _5 Z' x( X8 l        #login="taobao",
        type_url = "text",
: D) Y! k6 y# E! m; e        Parsing = 'xpath',
; a9 g% [- E0 W        label = {
* @7 A4 d6 x$ t* C9 t7 Q            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
9 @3 U3 o" b7 r            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
+ Z9 M9 H6 N2 p( U* T& ?            },
        write='result.txt',
& \$ C2 |& _( X* ]( M9 r        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
) {1 }" O# r2 b' d        page=[True,"now_url.txt"],
        #clean=True,
        texting=True,
        # status="multiprocessing" 启用多进程爬虫
        # cpu_count 为启动代码核心数,默认为系统核数一半
        status="multiprocessing",
        cpu_count=2,
/ I" p/ _: S8 X; c        ###
- i( j, i8 I! a4 H9 ~* l7 X: Y        write_SQL={
            'host':'localhost',
5 s* o! ]5 L: t1 _: x8 F            'post':'3306',
1 }. H& Z1 M3 v' H. n) T  i            'user':'root',
            'password':'123456',
: E/ w! D( O9 k2 i2 @( V  s; a            'db':'example',
            'table':'example'
1 W& i$ Q, B0 X8 {/ m            }
# U  ?$ Z) i7 f5 P4 Z: h).run()
# C/ ^' a0 r" z7 s5 E! v% j8 y
第十二种玩法：异步多线程爬虫
1 z" K  T9 G! @- R: E特点：
爬虫速度加快，
. S4 \6 j. a0 {/ w. Y& d; s* |异步使得爬虫无等待时间，
/ }2 W, y8 w2 @% P* I" i同时使用多线程速度明显加快。

缺点：暂无
/ w+ @' |4 L+ t9 h
4 u( j9 A/ r% R# g. v) z0 c：return None

2 t, {% R, c% C. v5 w) u1 pfrom simple_crawl import request
2 K1 a/ r- X3 ?request.parse(
3 Q% l& a9 f, F9 _" Z! U        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
) |' P3 l7 M) f5 \; ?$ \        #login="taobao",
- y& t! f# Z, V        type_url = "text",
        Parsing = 'xpath',
2 s& o" `5 _9 ~/ P        label = {
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
4 w9 f- I# ]: W5 C# a            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
! \8 u9 l' D, U( H        write='result.txt',
" V3 u: ?; c8 a; ?9 j% `8 X8 \4 H        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
: G8 [/ s# v! ^  {        page=[True,"now_url.txt"],
        #clean=True,
        texting=True,
        # sem 参数为异步引擎数目,默认为5
        # 其他参数同上
! n7 d$ v: a; L+ l) y        status="aiohttp",
        Thread_num=3,
        sem=5,
) M; D" ?( `; I# `0 p& \        ###
2 O: _/ a0 E; _$ |0 b$ c        write_SQL={
            'host':'localhost',
            'post':'3306',
            'user':'root',
            'password':'123456',
            'db':'example',
+ V3 m& M  S. G! f            'table':'example'
3 \) F8 V7 q* n3 S: m            }
' ], [* c' F" i1 E2 ~( e).run()

第十三种玩法：异步多进程爬虫
4 [/ S, y4 u$ B6 J8 }特点：
8 [4 I9 P  E/ h- ~6 @爬虫速度加快，
& E9 s2 J6 K$ n4 W异步使得爬虫无等待时间，
  t/ e! A4 }8 S- P$ ]" L同时使用多进程速度明显加快。

缺点：暂无

" e' r7 Y- Q$ e. v4 V5 z4 U：return None

from simple_crawl import request
request.parse(
7 x/ P1 _8 d& G- C; U; ^) p        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
  D/ ~# a8 K7 W; W% {' X# F, Q( n        #login="taobao",
        type_url = "text",
        Parsing = 'xpath',
        label = {
/ b2 m# L! M( M8 v; q. ]            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
, o# n- Z% v. ^9 H            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
            },
5 F+ U' }+ s! e1 S* x4 t        write='result.txt',
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
        page=[True,"now_url.txt"],
        #clean=True,
0 [. M! r5 ^/ s: U; @        texting=True,
: b* ^# \2 K' o1 E/ T        # 参数如上
+ l& w0 m: {0 R! q$ \        status="between",
7 I2 i, a" [, X        cpu_count=1,
% B  n5 J6 c9 c+ W+ o        sem=5,
8 R5 c& }$ X3 j  N: j0 m        ###
        write_SQL={
7 k) {7 d8 a+ G1 j# p! _            'host':'localhost',
            'post':'3306',
6 l/ @8 s8 `6 G: y            'user':'root',
0 _" _0 _' E$ Z3 [1 `            'password':'123456',
; P( G7 t- ?( _' |, x% r4 L" e            'db':'example',
: O; m% v3 V2 n5 [& r6 X$ [            'table':'example'
3 b' e% A" F% o2 {2 s: A6 r0 E9 @- V            }
).run()


功能介绍完毕🤞
/ v( c3 r" o. x# ]最后还是希望你们能给我点一波小小的关注。
奉上自己诚挚的爱心💖
( _, o+ H/ e% @1 {9 @) Z! B! ]————————————————
版权声明：本文为CSDN博主「꧁༺北海以北的等待༻꧂」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_45414559/article/details/106005684
, e& m  f( s: n. K! }

738391227

66666666666666666666666666666
5 |' L2 D& M/ c% L! W