QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 5682|回复: 1
打印 上一主题 下一主题

[个人总经验] Python爬虫仅需一行代码----crawl第三方库

[复制链接]
字体大小: 正常 放大

326

主题

32

听众

1万

积分

  • TA的每日心情
    慵懒
    2020-7-12 09:52
  • 签到天数: 116 天

    [LV.6]常住居民II

    管理员

    群组: 2018教师培训(呼和浩

    群组: 2017-05-04 量化投资实

    群组: 2017“草原杯”夏令营

    群组: 2018美赛冲刺培训

    群组: 2017 田老师国赛冲刺课

    跳转到指定楼层
    1#
    发表于 2020-6-2 16:00 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta
    仅需一行代码写爬虫–simple_crawl  h8 o% G. f, q- p2 t$ Y9 v. ~
    simple_crawl
    - I" v/ F* G  Q7 P: W' Z仅需一行代码即可达到爬虫效果
    # O9 v+ C" o9 g! J: Q/ ^+ _: [项目地址(欢迎star):https://github.com/Amiee-well/crawl& f6 P+ o+ [1 p1 V% N$ c
    使用方法# l/ s* z- w' w1 N2 z
    pip install simple_crawl- T% i! D+ D7 |- g4 U, v

    7 J0 Q/ [- d3 c6 l6 I### 以下源代码为简单介绍,详细功能介绍再源代码之下
    + `& u. T% y) F( e/ ]( ?from simple_crawl import request
    * F9 D7 |4 C: c) ~' hrequest.parse(( l( @/ O1 V- Q" [9 y1 `- z
            # status 参数为运行状态,支持单线程多线程多进程协程以及联合
    / R' T7 e2 k2 s9 V& e        status="aiohttp",; _  a8 j, M! J
            # url 参数为爬虫网址,单线程状态为字符串格式,特殊状态为列表格式+ @3 K2 j* s& e
            url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
    & K' L2 v( z$ @        # login 参数为获取登陆信息,如淘宝等网址需要登陆信息: Z/ C% L$ r( n1 M- E
        #login="taobao",6 [. s5 F3 b. ?. A% M: ]* x
        # type_url 参数为返回源代码格式,支持text和json,默认返回text5 |; Z' e  y  b- Y1 R* A: V3 v
        type_url = "text"," m/ J) c* {  ?  n
        # Parsing 参数为解析方法,支持re、xpath和beautifulsoup; \0 `& h' H0 G1 n
        Parsing = 'xpath',
    6 P( R: i9 u& ]8 T7 h7 z( Y& |    # label 参数为爬虫解析过程,字典格式,详情见下方9 H- a9 L  C! h% A0 K$ \  ]# s# N
        label = {7 p3 g# V/ {8 [7 e7 `
                'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
    7 K% p5 [; }* e7 O6 E7 V            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],$ E& _5 z2 U- Z2 c4 x+ \
                'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
    $ j' T- E% n# X0 k, R     },
    - l* W+ P7 \, ~; J, M$ o( d     # write 参数为爬虫结果保存,支持txt、csv、pkl、json,注:特殊状态爬虫信息容易混乱
    - @+ N# ?4 z/ s; `1 `     write='result.txt',. N, h3 }9 X5 y- m! q) ~
         # next_url 参数为下一页爬虫地址,@必须为href,仅支持单线程爬虫
    4 K1 F' A% s* n+ |     next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',! V( X" `4 h& A! y) P6 o; Z
         # page 参数为断续笔记,第一个参数是否启用笔记,第二个参数选填默认page.txt,仅支持单线程爬虫) T: i  J; d% ?& ?" p
         page=[True,"now_url.txt"],
    , s# K& U. Y- Y, U  a/ g# D7 j     # clean 参数为是否进行数据清洗,防止大量爬虫收集无用信息7 g: V- |+ x6 t4 ~: n
         #clean=True,
    ; S, J  g. |6 C! t1 c2 S3 v7 `     # texting 参数为是否选择连续爬虫,避免爬虫过程中出现非代码问题报错结束爬虫程序  k  P" k$ ]7 A3 K
         texting=True,' w4 s& K. r$ b; c  [2 {
         # Thread_num 为多线程数,默认为1单线程,支持多线程状态和异步状态# ~% n" ?6 Y5 L- S
         Thread_num=3,; X: Z/ ~9 I" w4 _9 h: l
         # cpu_count 为多进程数,默认为1单进程,支持多进程状态和联合状态
    ; @- }; n3 G1 |& e     cpu_count=1,
    " p- ^& t# v3 L8 K6 B! i& ^/ H, [     # sem 为异步控制数,默认为5同时启动,支持异步状态和联合状态2 W4 ~0 `. L2 _+ l4 a
         sem=5,+ M4 Y- E3 s6 S. R( R/ m9 K
         # write_SQL 为是否写入数据库,默认否
    $ G' L! a3 Y! w& H" Q     # host 参数默认localhost
    4 R# J% U/ X& b) \; c     # post 参数默认3306! i) [: B# W$ D# d
         # user 参数默认root. h$ ~) r& w8 `5 e( F' f
         # password 参数必填,必须正确
    ; E1 n9 d/ ~) l2 Q+ |- Y     # db 参数为即将存入的数据库名,若不存在自动创建  r4 Z8 f6 h$ j6 r/ Q
         # table 参数为即将存入的数据表名,若不存在自动创建
    % W$ z& ?% j0 ^     write_SQL={+ x/ p4 k5 U% E' A% L# b' z
             'host':'localhost',/ Y3 s0 d' d! n
             'post':'3306',
    - N% z# d7 J, o, r         'user':'root',* @) a/ H% g. Q( ]
             'password':'123456',1 E) _. c9 l( i8 ~/ D1 f$ ^% n! O* k) T
             'db':'example',
    2 g2 R# O0 z5 A3 V* {8 L! X2 C8 a         'table':'example'
    9 n+ ?! g' d' H% f2 M8 o      }
    & `/ q- D" h& P: o- Q- E1 [" G7 \1 U( E).run()& T9 j& S& t0 ^7 r% e8 c% p

    - _# C& |0 d' k5 G$ ?6 h" ^介绍一下crawl参数设置:
    : Y* b0 Y# d6 N3 c6 R! b
    ( x& O% J, }" e  ?2 M% ?0 ?'''! s7 m; V( Q' l& ?
    单行代码爬虫程序执行
    8 i6 }; y9 Q7 s- M  J$ z" q:param status:启用爬虫类型,支持普通爬虫、多进程爬虫、多线程爬虫、异步爬虫、异步多进程爬虫,参数请参考文档( r1 k! q# @. B7 r# T) X
    :param url:即将请求的url地址,仅支持get请求
    ( ]3 U9 w6 W/ [2 r" q1 P:param type_url:请求url后返回格式,支持text和json格式返回
    5 L2 [7 D5 y" j  ^! x:param Thread_num:即将启动多线程个数,默认为1单线程
    6 k# [( ^( a& i6 A& X6 U:param sem:协程信号量,控制协程数,防止爬的过快,默认为57 i) t9 K' r9 K" L$ w
    :param cpu_count:运行爬虫使用多进程cpu核数,默认为系统核数一半
    , _# b' N* R& H  U$ p:param login:模拟网站登陆,保存登陆信息% x  W8 I7 \# W
    :param Parsing:爬虫方式,支持re、xpath以及bs4方法
    * x+ Y7 L, D- \  H5 q8 F:param texting:是否启用连续爬虫,爬虫程序异常报错后重新启动爬虫,
    9 b6 S& E& y1 r, C" M) g; v                       多次报错结束程序,默认否
    , T8 Q& Z& y* ^:param label:选择器内容,字典格式保存,0 q0 |" a- Z. t' E
                         字典值为列表格式,第一个参数为选择器,第二个参数为转换类型2 l0 t8 \1 S) x7 Y2 }; O
                         第一个参数必填,第二个参数默认str类型  t4 y4 z" u( M6 a
    :param write:是否写入文件,支持txt格式、csv格式、json格式以及pkl格式,默认否5 ], O1 E3 b( N9 o: u. S" z
    :param next_url:是否跨页爬虫,选择器内容使爬虫继续翻页爬虫8 ^8 n2 Z  _% X% n& w9 Y8 z
    :param page:是否选择断续笔记接手下次爬虫处理,默认否
    2 n/ v6 a, u% D& |$ t1 D2 L; w:param clean:是否进行简单类型数据清洗,默认否% Q: b( z  ~/ X+ A1 ?3 f6 f
    :param write_sql:是否写入数据库,默认否
    1 p6 o) w3 D+ t* Q1 H; s; a                         'host'默认为'localhost','post'默认'3306','user'默认'root',% \+ f' A  e0 ?
                             'password':'密码','db':'数据库','table':'数据表',: s# S6 `2 q) X# d
                             检测库是否存在,若不存在则创建,若存在则直接插入,
    * O3 T8 S  A) x/ A7 z                         检测表是否存在,若不存在则创建,若存在则直接插入; w4 r" |* _, Y% y/ o9 M' M/ k$ d
    :return True) X/ G1 `# u1 n# g9 Q3 M- o3 T
    '''5 o5 ?9 D; E# V2 i/ M6 j
    介绍玩法
    ' q! L! ?3 ]4 g& u; E/ J3 N" D接下来介绍的均为调用第三方库的情况下运行:; V( J% H4 R4 m  j  V2 R; L
    $ u6 o$ N3 Q, f# f4 V1 E$ H/ @
    from simple_crawl import request
    8 [4 ~- W+ _" g: L. X2 D8 _第一种玩法:输出源代码
    3 i$ F& J# c5 Q1 [  {( `; Q调用requests库进行源代码请求。/ f9 R* N6 |  _+ w+ a  J( e1 Y
    4 ]: D1 }6 g- v1 n* n" ^; H! [
    特点:+ U- S) a) e/ o5 R! q$ t! q& J  }; R
    请求失败则调用ip池处理重新请求访问,
    9 W6 Z0 l1 h! U1 W/ N) r出现五次失败默认网址输入错误。
    : ]5 v1 S: p# b/ g支持text以及json字符串返回。默认text。
    4 D2 i4 q' n; F+ D
    / N8 u, L+ a% X' P/ L缺点:" [7 \. m8 O$ E" T- }9 G
    暂时只能进行get请求,不支持post访问1 ^8 `: i8 Y( W, o! _; }. [: R: ~
    % D4 h- w3 y, a: o; N+ c; i
    :return text or json% ]; k5 E2 |! m. P/ m" y6 `; g
    , ^4 ~* ?" m7 X8 |2 L7 M! T" L9 x2 a
    request.parse(& o5 ~, E+ N- ^  c
            url = "https://www.douban.com/group/explore",
    # B! m6 C3 [6 p- w1 z3 ~% z        type_url = "text"7 H$ ~* ]/ s* Q4 Z  c
    ).run()  L2 x( b2 `1 X
    # return text7 [+ i1 N, g/ u: z( G/ G) h

    ' ?; n2 @1 m" V$ w* ^5 r第二种玩法:模拟网站登陆并保存信息
    5 X& ^5 L  S8 j3 q9 J0 w5 _& L调用DecryptLogin库请求登陆访问。6 f3 \4 o7 o! |& @0 G' T
    6 B. v  I3 x7 w+ _5 D) c% X
    ps:DecryptLogin库为大佬皮卡丘写的一个很不错的模拟网站登陆库,在此引用一下,因为单行爬虫原因不支持账号密码登陆,我将大佬写的二维码登陆使用过来了。再次感谢大佬开源% O9 u1 t4 f8 J& k6 {$ k
    在此放出文档地址
    3 b* o' n! v# r  qDecryptLogin库中文文档:https://httpsgithubcomcharlespikachudecryptlogin.readthedocs.io/zh/latest/
    8 o- Z* \% `' y# j& m- _8 N. P7 r1 o" D
    特点:( ?3 J+ r, [1 m) c$ e# O
    将DecryptLogin库中二维码继承到此库(非二次开发)" \# l- _8 n8 L
    支持QQ群、QQ空间、QQ安全中心、淘宝、京东和斗鱼登陆(大佬登陆库中所有的二维码登陆)/ W) x( J/ P, U0 u" k2 ^
    保存session.pkl信息到本地方便下次登陆运行- J+ I$ a2 Q4 P
    ( z6 ^" x* K, Q! A9 G" M' k8 L
    缺点:# n# p$ a) \. B4 f8 x2 S
    session.pkl登陆信息过时无法自动删除。
    1 g' T& T5 z0 y' X7 A. v导致下次登陆疑似cookie无法正常登陆。1 e9 Y# V# V9 S/ J! f, \! o" n) ?

    ( \1 T8 d9 O9 M+ d:return session
    3 M0 w' v4 d  o1 c2 c1 n/ {" ^# h2 N  c% h
    request.parse(' O" s' e  S; w7 y2 p
            # 臭不要脸的推广一下我的店铺" S+ D' K3 }) H+ ]) V- z/ w9 N5 G" W
            url="https://shop574805287.taobao.com/",
    1 v- r9 I& `! ]8 k' L1 H        login="taobao"$ \. P: ]8 p! y& ]$ ]9 _/ ?+ Z- }
    ).run()
      V8 c2 f/ r7 f$ P9 g) T# T* K# return text8 x5 v( f5 U) v, z9 D' j6 f

    2 X$ p: p2 V; L* s( f7 g+ [第三种玩法:爬取网站信息
      X+ V9 I) N1 d爬虫库自然少不了爬虫的过程, `0 \$ E4 Z3 c

    % M! v3 s( o  A# Z: O1 l! y特点:
    ( T$ h+ w. @( I0 E. w4 @支持re库,xpath解析以及bs4选择器。& ]+ K4 \  f3 H% d" o( @
    爬取方法为字典格式。单方面输出。& I% B2 g" o8 _, o! R( a" e9 J
    字典键为保存的字段名称。" g' ~0 T& Y; C( n
    字典值为列表格式:第一个参数为选择器,第二个参数为转换类型。第一个参数必填,第二个参数默认str类型。
    # O) m/ F) k1 A  r  S, K) t/ c, Q% O2 d
    缺点:暂无(等待小伙伴们发现)
    3 |  q' x7 K7 b! d% o# u. w3 l5 d$ ?! N* u
    :return reptile_results1 o. K; r9 c3 ]4 N  c1 F

    3 W4 i+ G4 M4 C- l7 f. E7 W( zrequest.parse(4 ^% r; H% H2 k& a) z. {
            url='https://www.douban.com/group/explore',
    / j$ @1 S7 {3 |6 K9 P% E        # 字符串格式,选择器方法。& ]( c3 m- J& ]5 M/ d% Y5 f) B% x
        Parsing = 'xpath',5 X6 H9 _$ A1 R8 i3 t
        # 字典格式,参数如上。
    # R: P0 _/ d3 ^4 W    label = {
    9 }$ q* F  s( S' H8 }8 U& V        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
    1 [! s  ]8 j1 h. t+ M6 W" T        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
    : f/ r/ m6 W- [$ e, V        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
    ! w  \0 g; I: O) U( y& J        }+ @( @3 E& f% ^" M6 B
    ).run()( J8 |4 n1 @9 h+ t. J  ^1 y
    # return reptile_results(list)
    / z. x- q6 T$ ?9 M+ Y# v3 R' w
    ( I/ t, p0 T% ^第四种玩法:自由保存信息
    2 k% g+ ]  b: M, y) c1 X; x  p) v目前版本支持保存txt、csv、json以及pkl四大主流文件。日后版本更新将发布更为全面的保存方法。
    , i( N% B2 Y% G0 p* J
    # U" U. E: @4 X1 J特点:0 z# K  j. E" Q+ C+ N. d  V
    写入文件均为数据格式传入文件。
    $ s# N9 r: H, g' Y+ _且输入格式规范方便阅读and省事。* f% T) j( r( w% S- e) t2 U6 r, v
    + G2 v2 O$ p: {! T8 U9 w$ e! T
    缺点:+ Z, w8 c# Q7 w( C' I) ^% F
    保存格式仅四种,( e9 I5 S1 U% ~/ o
    不方便用户之后读写操作。
    4 S4 J( ~; S4 r5 N. x4 l$ E8 f
    " U5 v7 l$ x, x* l2 ^& M8 \:return file4 p) C  L9 r0 A7 h  l
    0 l# J% ^+ B3 R% j3 h
    request.parse(5 n1 u* g9 a& m& o( V2 a
            url='https://www.douban.com/group/explore',6 ]# m/ v4 C7 a* X3 j/ L6 q
        Parsing = 'xpath',
    & D1 C, a, B7 x2 |/ N% w" p' i    label = {+ U: U( z: M6 p; N  q9 G
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
    # U! z. k) D" D. m7 i: ~        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
    % |! U3 W9 G2 o: q* g$ M        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
      a+ a- K7 u% q/ I8 D2 ]        },
    # n9 N7 w6 J  f  n& w8 P. |# G    # 字符串格式,具体保存位置填写3 d' }! F0 r5 k7 u
        write='result.pkl'
    5 }5 A8 W, ~: s( A. P3 E).run()
    ; a0 K9 Q' l; `2 o# return file' _% Z. j7 i, R6 W& h2 H
    % x* T2 t, }5 u  A4 v
    第五种玩法:读取下一页 url 地址继续爬虫& N( J; Y5 M/ {* q; O* q4 i/ T9 h
    这也是每个人都担心的问题,仅仅一行代码怎么可能翻页爬虫。这还真能做到哦~
    + ^! q5 u* p+ T3 g( W
    ; H* Q. K1 c- \/ I1 w特点:
    1 L# I& @( a; O! R; W继承之前的Parsing参数选择器选择方法。
    $ K+ ~7 [0 p9 M在这里可读取到解析后的下一页 url 网址。
    1 x" @( G1 Q7 ~, k7 Q方可继续进行爬虫处理。方便用户使用。
    2 E' H8 C0 K  e3 g  c2 g9 ]- A* ~8 j1 l: r) ]- T
    缺点:& d1 V" r, G& a9 V
    若爬虫时下一页 url 地址改变,便结束爬虫。
    7 K& |7 d, Q" J" e0 n+ ~只能爬取所给 url 地址中的信息。
    3 h0 o0 J# t. `- N! W' x8 l' i无法进行某一界面的多个网页爬取返回。+ \/ V- ?: V7 {8 i9 R
    造成访问页面单一流失。1 s) D% Y7 z$ z

    ! N, k/ _6 C1 ^$ ^3 C:return None
    $ g# e8 K  y7 T& n. ^3 _3 D* S8 L* L. Z
    request.parse(
    ; m0 m  V3 K' W& q# T        url='https://www.douban.com/group/explore',+ O  ^4 R( ]% X/ [% D0 N- r9 Q
        Parsing = 'xpath',; O8 }( M; a6 |/ [& L% J' b
        label = {* p+ m* s1 S. N& I2 ]& `5 i+ m
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],+ |3 [9 H+ B/ m, j; g
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
    - V* I( `0 Y% E        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
    . h9 f. N; n" b8 W8 e. q        },
    ' Y# H$ B  Y6 ^% r2 w* y    write='result.pkl',
    7 h: K7 O+ c6 _! `% _9 ^5 H7 j    # 字符串格式,根据Parsing方法继续请求下一页a中href
    + ~% m$ j5 E  e+ y  E    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    ' M) t! f+ E! l2 [).run()
    - T# E- D0 x% A! z( ?8 p# return None 5 ?( y- [3 f6 f9 B) y: \* l3 p
    1 R& N7 I+ I6 d% G6 J/ {4 [
    第六种玩法:爬虫网页保存* U/ ?1 l: b! l0 h0 f5 W- ?
    听说过爬虫断续重连的朋友应该懂得这是个什么神仙操作。每次爬虫运行期间好好的,睡一觉醒来发现代码报错了。。。这就是个很难受的事,还不知道之前爬取到哪一页了,只能重新爬虫了啊!$ V. j8 R# C8 k* V

    $ n5 o+ U/ p9 p* }特点:
    ( @8 Y9 S0 q' L2 `: A" v4 Y3 `持续输出断续笔记。
    ! E2 u, G, g6 v% K9 @/ c将此次爬虫的 url 地址保存到一个文本文档内部。. Y& Q# w7 }6 V1 \4 g' g
    下次读取文本文档即可快速进行直接断掉的爬虫 url 地址继续爬取所需。
    8 B  x% B+ ?- t  [
    4 a5 r/ f. ~& l* T* o- A缺点:1 _4 z. R( z/ t6 s) U9 e/ `
    读取内容不单一。! [4 Q: V1 f0 z1 g- I; \! r, [: |
    导致下次爬虫无法正确读取上次爬虫留下的痕迹。- S2 {: Z# Q- ]% _# |( Q, H& N
    2 w& Z. S/ |; {: F; z% U' }
    :return url_file
    % q5 V8 U, \  p8 L; _; e2 b" l
    ! Y3 x- o$ e; e% f7 \request.parse(
    # Y  D, {: L3 a; a- g' ~    url='https://www.douban.com/group/explore',# J2 b+ h% k% p) l' T
        type_url='text',
    7 t! u7 [1 N+ {  Q/ V5 t0 P, _- n    #login='taobao',
    4 y  x1 g- L3 H- l- I* b  c    Parsing = 'xpath',; X* z3 x- c7 G+ M4 C7 t. |' _4 M8 R
        label = {
    + V3 D- t. U9 r3 \2 q        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],* D  k0 [' j6 N! ]! u: o
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
    % Q: U+ d8 X- V' k, V        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
    6 o% p, a' z0 ~! s4 X% a        },* S/ N; N! c/ T" U- j
        write='result.pkl',. w3 W/ o' C. b0 Q
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    3 t. b& p7 o+ _7 ^9 U; j$ Y    # 第一个参数为是否需要断续笔记。
    , u6 \4 q% p& D+ F    # 第二个参数为断续笔记保存位置。' \7 U- p- L! t" e. a- D$ y3 U7 q
        page=[True,'url_page.txt']2 X  W( K) w' K, a! o
    ).run()
    ; a& F2 F/ \' t6 G8 U) W# return url_file$ X) Z' {3 V% _. \" p! }

    6 @7 X& N9 g+ i$ A; e% ]第七种玩法:简单数据清洗2 P' Z! i7 X# M: X. I/ n
    数据拿下后,直接保存到本地有些大佬可能觉得很辣鸡,连清洗都不清洗就存入本地了?那得拿到多少废数据脏数据。那么接下来介绍一下清洗参数。
    & v4 T& e9 o4 R* H+ n+ W& ]6 w: x* k1 V, u# \% n6 \
    特点:; ]& S1 {9 Z0 K
    本人曾写过一个底层数据清洗。
    0 H; {' c8 e4 p能将列表格式数据进行归分清洗。
    3 y5 j9 I, V. a' z, u% I8 o2 o' l主要内容请参考另一篇文章; ]1 w  j( S' }% k$ F0 p* J2 u' u
    如下连接:数据清洗5 ?% v& g: L" p* k2 O/ d

    + m) m; Y8 }, |% w  L; I缺点:
    2 _% ?) ]7 a0 d, B) f4 k数据清洗格式简单。
    + _# e6 b" y$ J3 I数据清洗内容单一。
    + X! c1 _4 V3 W! M' V$ z) G' w) e无法完全做到绝对清洗。: H; l. X) }9 }
    有待改善。
    + z9 @" G+ ]; z6 D
    $ f+ w% m; N* w' x$ O:return keyword_list, value_list, L. b, E! R2 s" v) b- `

    9 C: j  \& n. U8 \: orequest.parse(# d; K( R# x, J% |3 M
        url='https://www.douban.com/group/explore',
    5 G. t# I( W2 G    Parsing = 'xpath',+ w, B3 e* o, }: T2 V* u
        label = {
    . q* r& R5 s+ i/ e        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],& l; c0 X$ c! s( @
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],! ]+ u4 D* n/ G5 M1 N
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]/ [' o" P2 u6 {/ h+ s- ?& }
            },
    5 i& @- N/ a) `+ q' Y7 [    write='result.pkl',
    ( j2 P, A/ V0 d9 v  P: b- c    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    # D) ^- \, _$ v- k1 L, K" o    page=[True,'url_page.txt'],8 {2 r/ J) D. M0 K; j+ l! U; [8 n
        # bool类型,默认不清洗1 j" M  B% L# `6 ]/ o* r
        clean=True
    ) `; L( l& f" Z, D).run()5 E  s# G3 n1 u+ T* Z

    9 M3 j/ k# n/ E) [: }% E& w0 C1 e第八种玩法:爬虫存入数据库
    3 X; a$ @2 N* d' F7 U存到txt、存到csv、存到json、存到pkl,那也太low了吧。现在流行的数据库用不了么?那是不可能的。。* O) f# {; @# v
    . A8 H+ I; _; c* a7 Y
    特点:9 l+ h( F) d  f7 a0 Z; n
    信息存入MySQL数据库。- ?; [; y  o# p. w
    可连接docker远程数据库。- t- X! F. h! R5 K2 v
    数据库的库名可以不存在。
    3 O' h0 M8 {' w/ Z数据库的表名可以不存在。
    3 N: e$ F+ j9 L2 {4 Z7 L1 J4 x" C' Z根据之前传入字典键与值参数判断表类型。
    6 ]' F8 I0 b, g( U" r' }自由建立数据表传入信息。5 O6 r: C: u9 c% z! I
    3 y  u3 e$ p8 O& `' I& {
    缺点:
    7 U3 R# r4 S+ J3 w; s9 o仅支持MySQL数据库。
    , E1 X: b4 d; Q! {! N
    ; b3 X2 K) c7 y; V6 e:return SQL  ^$ X$ p6 m5 ~5 M3 L+ o
    3 m3 {! s' p) p
    request.parse(
    0 }+ C/ ~  e# W. h! J    url='https://www.douban.com/group/explore',3 Q8 J; b" W. l  O
        Parsing = 'xpath',
    7 k$ N+ A& w2 N. n% g    label = {7 ^7 f8 E  o6 v1 V; M6 R# Z+ k$ f
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],3 z9 O7 t: J% E9 `$ q( @
            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
    & G+ X0 z; {1 u$ R4 L0 R2 a( \        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]* R/ |! h+ M/ W, P
            },
    - p* p) O$ p0 G8 L7 }, l    write='result.pkl',
    ; C) o) h! W2 w7 C5 s    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    & z! y1 G( u: w$ M' y0 K% h    page=[True,'url_page.txt'],  y! ?) `% n+ X1 [: R5 L
        clean=True,( K' S+ q' l& C2 y5 Y- r
        # 字典格式,
    0 ^( \+ Y6 B- f4 D& B4 G    # host可有可无,默认localhost
    ; i& Z7 z: x7 S- q    # post可有可无,默认3306
    + C7 _% y9 D/ f3 C# ^1 D    # user可有可无,默认root
    2 z" C! K& k/ W" i    # password必要参数,数据库连接密码
      s0 W$ }( y0 K! u1 X3 U7 R% Q    # db必要参数,数据库即将存入的库名. [' Y) [9 M; d
        # table必要参数,数据库即将存入的表名
    ) J. C1 I! `  g  X# L: B    write_SQL={0 m; z( O- T2 p. \) v5 R
            'host':'localhost',& m2 M( a5 z( v0 h$ k% `' M4 J
            'post':'3306',
    / P6 q. O# c3 y        'user':'root',
    9 D. y- Y, {2 D, }+ `* U7 m        'password':'123456',
    ' `2 S3 y* b- F6 p+ T        'db':'example',
    - y0 l7 N; [% N2 K& u+ M, F        'table':'example'2 S2 H; Y0 o! i- \6 f0 x
            }6 C2 o9 [* I. e
        ).run()/ ^2 u& ?7 \; _$ m: a
    3 A' d7 a( V$ N
    第九种玩法:重新启动爬虫
    + P( W- l; R) @" o: R3 ~+ X爬虫最让人厌烦的就是被一个不痛不痒的错误信息给终止爬虫了,比如意外的远程断开链接等低级非代码错误,报错之后还得重新启动断续爬虫,就显得很麻烦。我做了一期爬虫程序异常报错后重新启动爬虫,多次报错结束程序。
    ' }  e+ l  A3 X% t. Y* A- v' X2 w/ Z0 Y' W9 ?% `
    特点:# r5 B8 k  @8 m, m1 C& K8 x: l6 c
    检测报错重新启动爬虫
    & o4 w5 K, L7 E1 V  F; @. w' x无需手动处理错误信息
    " [$ F4 s4 |" N) v" W- X5 k
    & a( t; x9 A0 m8 Y' z) b3 q; _缺点:
    9 d7 j7 x% O& Y3 I( G3 g9 b无法收集子线程错误。
    8 J+ O; Q7 t) w+ v# F* q9 L( l& x' y# o" |
    :return None
    ' W4 X) d/ n6 Q/ s0 }- a; N7 @3 h1 e# [4 H) \/ o: h2 P% O
    request.parse(6 c( T0 U' [' g" I* D4 a' O5 z- z
            url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],& V, N1 v4 I+ ^& p9 W- k; o
            #login="taobao",2 N1 u$ E% H7 `6 k7 z1 a
            type_url = "text",9 ~9 X; [5 W' S* m- x
            Parsing = 'xpath',: g% `# O& Q! K4 E
            label = {5 d7 f6 N2 {2 H/ z! ~: Q
                'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],1 a* O0 m* I+ x4 k9 m
                'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
    / W$ ]! i7 v6 X            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
    * n- f. t/ g) Y            },& j3 c( u& P4 e3 f
            write='result.txt',
    $ O. v$ j1 H/ A3 v' z+ Q0 X* I        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    9 Q1 O9 t, S' N        page=[True,"now_url.txt"],! n8 X& c0 s# N2 m: _- m' R
            # texting 参数为是否启用连续爬虫3 {6 p$ S3 g8 l5 C* x
            # 爬虫程序异常报错后重新启动爬虫- Y$ w- A! E, u
            texting=True,, p2 J: j$ L3 }
            ###% [+ V5 _- m/ G4 ~* y1 ?' f* q
            write_SQL={
    ( A. l7 L: m, d: j            'host':'localhost',
    & K% g1 j' n- Z2 P/ D            'post':'3306'," V  d; s9 E3 E' n0 m
                'user':'root',/ ^7 e- v' C+ e; y- Y0 {+ S. O3 |) [
                'password':'123456',( c" a% c" G9 h$ s- t$ h, J) b
                'db':'example',9 G9 ]9 ]# @! ^3 Q  j
                'table':'example'  s9 g; s9 y4 f9 y4 h" p
                }
    0 Q  r7 y9 _" k7 j# n2 y).run()
    % @( N% `  c% I3 l, X4 l
    3 W+ I& a" L* u8 S1 ]' ^- x. b- e第十种玩法:多线程爬虫
    8 k. V: G% [  `) [2 V$ A特点:
    % D+ r6 H% d& f6 A+ a+ }爬虫速度加快,
    & h3 m. O+ t4 c6 i( h更好的利用了线程。
    . t$ w0 a* C5 T9 W0 t1 u9 q
    - B8 @1 `$ V" p4 X3 U" Z缺点:暂无
    6 J! Y) ~. l; Q% D7 O1 l8 w5 N; \+ ^
    :return None
    5 G5 U$ W" S- ?9 k7 R8 q4 t$ b, O" [1 ?# [" ~( j
    request.parse(0 A7 U& l) T/ f8 P& L  e
            url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],# u: \& Q9 }! m" d6 Z  P5 u
            #login="taobao",  V$ Y$ N2 z7 m" p! _
            type_url = "text",
    % J+ c% }% ^; K5 }- a" T9 A/ d        Parsing = 'xpath',5 D. s( O4 |; M8 q
            label = {0 _" |- G7 |2 |2 j) X, Q, c1 x
                'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
    9 q& h6 G& K0 C; w+ q            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
    ( \0 i/ M* _! v' f            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]- D( b* L& F8 @' }2 b
                },& ]( w8 A* a/ E1 Y" X" K/ L
            write='result.txt',
    4 R- W0 l' k) [        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',6 \4 }) f$ k2 D3 [
            page=[True,"now_url.txt"],% [) v' b$ J* B% ^+ `
            #clean=True,- f4 S( o' ?5 B) {9 y2 @5 M' F$ c
            texting=True,3 a% i% W" d- Q, M/ v: p) ?
            # status="threads" 启用多线程爬虫! ~$ G, @' [4 Q/ ^/ q4 S
            # Thread_num 为线程数目,默认为1 单线程
    $ |1 ?0 R! M! X! R. R        status="threads",1 e& V! M. R/ Y) Y: o4 N
            Thread_num=3,1 m5 i+ n0 F2 `, D4 w7 s7 E' ^
            ###( f( H+ e- n) E
            write_SQL={
    # f5 Z, J0 I5 \( E# _% q  F& F% j            'host':'localhost',
    * ]* b$ T" _, j& H: w9 u: ~            'post':'3306',
    + ^( k8 ?0 q* W, p  H            'user':'root',
    9 i, _& S7 ~; ~! Z, c: U4 F* B; d            'password':'123456',
    7 K: r  B0 @) p3 |            'db':'example',
    3 z& W3 q2 g, G# }            'table':'example'- q4 \2 X- }7 q. x
                }5 ]  G$ N9 D: d, |7 h$ |3 r
    ).run()
    8 X: E/ _/ A2 W. H  i+ Z7 E8 k6 K
    3 o$ M& V8 h  M8 x; }! Z第十一种玩法:多进程爬虫. w/ E! z5 ~- h' R7 \2 J
    特点:/ E# N0 h0 D+ I- J1 @* j# |
    爬虫速度加快,
    / e$ \, I) \# X0 g8 [. e- F更好的利用了进程。
    1 ^5 f' a6 C' Z
    9 P0 n4 u8 s+ x& \  A/ S* M缺点:暂无$ c" C+ T1 p; D, l* r: h
    3 C8 l8 ]# f! z& u  _
    :return None; |3 y3 N' D2 R- u8 ~2 [, R
    : N1 q, ?, S5 W& v$ i" D
    from simple_crawl import request: ]6 K* Z8 x4 R% D6 A- g7 g
    request.parse(: L  w% W6 \# ]' m" N# P7 @- x
            url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],! s3 h* k' c6 ?/ T* H6 H
            #login="taobao",
    ; G5 K) y- _1 ^) J2 W) d' `        type_url = "text",
    8 J9 @8 `5 j: h& O% ]# z        Parsing = 'xpath',# A: @5 Q. D% z2 N& m
            label = {8 h, W. h* P# {
                'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],7 {* e1 W4 l) r. d- s3 `% |& a
                'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
    / t! O1 y! g9 x2 X            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]! O' v. S' @0 s" k7 F) R" w
                },
    8 o6 [  Q. i3 r) [& x! w$ i' |        write='result.txt',! u: |* a6 ]( J- H
            next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    ( d! o, s  [1 m2 z3 m. R% [        page=[True,"now_url.txt"],; F& i% q" v* l; v) Y" F' W
            #clean=True,
    3 @9 K' t+ L# K0 W4 Z        texting=True,
    / L9 N$ v4 b% Z. j$ F7 ]        # status="multiprocessing" 启用多进程爬虫0 b6 A/ a- Y8 E" Y0 n' a, n
            # cpu_count 为启动代码核心数,默认为系统核数一半/ T  p0 t/ g; I$ V* {
            status="multiprocessing",
    2 w9 P' [! M0 U( l" F        cpu_count=2,
    5 x/ h/ k+ b  `2 R5 S" o0 E- M        ###0 E, ]$ h2 C9 l" S* Z
            write_SQL={
    ; W3 H  c5 \- \( `/ n& n. m1 J            'host':'localhost',
    , c3 H2 k9 c  L/ }' f            'post':'3306',; L$ g8 f* N% ^& f. f7 T
                'user':'root',
    ! a" O7 J% t7 q3 K            'password':'123456',
    % ]- R) V# f4 G9 |, P" T) n' h# v            'db':'example',% c2 x- K8 g' [* a$ H
                'table':'example'
    + j4 x9 P" l) a4 k4 M/ N            }
    , w3 E7 W/ n, l8 Y% S).run(): G2 @  T( u# B! A
    ) G" o( r8 m* A+ d8 f7 T
    第十二种玩法:异步多线程爬虫
    . r0 C& T3 l* o  C特点:
    , S- M# b7 E9 }& c" u& D4 c爬虫速度加快,$ h0 s1 `0 Y( t; o; S# B1 v
    异步使得爬虫无等待时间,. d" Z/ D: T  I3 m  }4 F
    同时使用多线程速度明显加快。
    ( r8 m8 J8 ^, E5 w7 r/ G- Q
    , w7 a$ [- Q2 o缺点:暂无4 O* G$ A' `* ?( F5 U1 O

    + G$ L9 X, I+ ?- F  t:return None
    2 v$ p& D& [; k; J1 Y3 w8 J1 j' J" R1 _7 J1 j2 F8 L
    from simple_crawl import request
    / D" c3 Z. C1 k* A+ A8 `; Urequest.parse(. S' t9 I4 D" X$ y9 \" L4 F
            url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
    $ [. E" c6 A" K, G1 g: L  H$ D        #login="taobao",
    " V, i% R* ^& l, a- \* F        type_url = "text",
    9 x9 [" W3 f; ?( a, a/ h        Parsing = 'xpath',
    . e) o7 |! e" g3 r6 ?6 G2 Z9 A        label = {
    : V" m3 _: ]# L3 N            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],! s) }2 e* t  A; H2 w
                'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],5 ^2 r, \, G% t0 |
                'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
    ) v+ M$ s% x$ x- d3 S            },  Q" ^0 f1 g: l: N
            write='result.txt',( N& ^4 P6 K2 b2 ^$ Z: y6 A
            next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',4 ?- V  T) D. ~5 p- G, f. o2 m
            page=[True,"now_url.txt"],
    1 }% M7 ?% P: _8 e1 t+ Q, [        #clean=True,
    : V' u& [6 J- {. C        texting=True,
    , B  i5 f: E; J' k1 s7 K  j        # sem 参数为异步引擎数目,默认为57 B0 y& q6 i" g2 ^* y3 r% G/ m: v
            # 其他参数同上
    : X! Q9 B2 B; F) |- S- M        status="aiohttp",+ j# Z, p2 Z+ O" E4 D4 T
            Thread_num=3,
    ( t8 j5 v2 G# e6 ^" Y, z        sem=5,* _7 i- _0 t9 ?* [+ V' c# k
            ###2 R" |( E! N7 p# Q0 a9 P
            write_SQL={. z, I! K; H3 ^. `
                'host':'localhost',
    5 _# ~+ h; y  z1 s            'post':'3306',
    # H  z( ?& J7 D/ F! w4 G& \3 b            'user':'root',. L& ]" U; m4 X* Q" a' T, G
                'password':'123456',
    " S5 ]1 Q) T3 z% ~            'db':'example',
    9 a& z0 x2 G( S) C+ T& T8 m1 {1 G            'table':'example'/ v5 W! n9 G4 i( k
                }' g* O$ c1 d: [
    ).run()4 Q/ K7 {9 }8 f# k/ X

      n( t1 n% o; Y. \第十三种玩法:异步多进程爬虫
    ; B# t4 E$ c" Y0 a# w特点:% I7 Q) _6 y' N- ?2 ]
    爬虫速度加快,( w( A  G4 D, Q% Z5 h* m
    异步使得爬虫无等待时间,/ C, p, \4 \1 f
    同时使用多进程速度明显加快。
    3 K# z" W" Q5 c* W
    , p0 A  g  ?7 A2 k  ]缺点:暂无* f8 {2 M0 ?. B! E9 a' }
    8 i3 B& m, Y; }& S$ k
    :return None
    ; {  c& A7 J0 p$ h9 D1 l1 @& c. s  h9 d' J1 q  ^
    from simple_crawl import request1 B: m/ Q! Z. m5 V
    request.parse(
    / n% t" o) ?% p, V+ ?0 u        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
      |+ e- ]6 E1 P9 w! b% o4 K4 Q+ ]        #login="taobao",8 E. H9 S) o0 k0 M% Y
            type_url = "text",. ~; B* {! [- g8 a' x: s, K
            Parsing = 'xpath',6 C3 a8 w* b3 G( z9 D3 a/ ?
            label = {
    - U' x) S3 F" [  l            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str]," |6 ]9 P# W. g- ~; r. H& X- U
                'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],4 P6 z' {8 [4 |
                'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]2 ]+ D3 D6 v& [' f7 @
                },' M5 ], ]$ r  ~9 D
            write='result.txt',
    , f2 F1 u9 K& f: |5 t  z        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    / _* @- K! I) m7 T/ v        page=[True,"now_url.txt"],2 }  K: p5 Y, C4 E9 q
            #clean=True,
    ) ?. I& S2 A4 b. w3 E: N: ]        texting=True,
    6 o& |# b5 M1 A; O  P+ J' w5 l+ i        # 参数如上6 T. Z0 X' h7 n/ k* p& k
            status="between",
    2 [2 I. W6 p9 Q7 u        cpu_count=1,
    / T3 S& a7 U# x1 _- `( N, E        sem=5,; L6 T* {& x, Y+ z
            ###
    $ e7 I3 o- D# T% Q        write_SQL={" b+ Y2 T9 R4 c* d  }0 ?. t
                'host':'localhost',
    7 \# Y9 J: o- u" V1 I# V* ]& X            'post':'3306',
    7 s! V/ q9 V2 @3 f) i) J) ^4 x: T            'user':'root',/ X! k5 O& C  ~' O  z- T
                'password':'123456',, b$ v/ H& b4 {; S' ?$ M" a( ^
                'db':'example',
    " X' |% n; Q/ Y4 N7 ]) ]            'table':'example'
    & I* s( G/ p3 F& {4 _: P3 O            }5 D0 u7 W! ^  T7 h# Q7 ^
    ).run()" L5 T. A6 U" l" x3 F8 J
    & R( Q0 F. c1 V$ L
    4 \1 q: S/ A5 Z" q+ f# k5 @3 k
    功能介绍完毕🤞
    4 c9 o4 O, p$ ?# M, u2 m8 W' K最后还是希望你们能给我点一波小小的关注。
    , F  N8 C& ]1 L2 }奉上自己诚挚的爱心💖" _% j% ~7 B: Z! w
    ————————————————
    ) I, Z- @( q; l9 `/ u版权声明:本文为CSDN博主「꧁༺北海以北的等待༻꧂」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。( g8 S+ p* O- r* J
    原文链接:https://blog.csdn.net/qq_45414559/article/details/106005684
    " k6 {- [# V! s3 G3 i+ N( s
    * d. p+ q! P% @
    7 {# V* x4 t& J0 C6 g: w( P
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    738391227        

    0

    主题

    6

    听众

    32

    积分

    升级  28.42%

  • TA的每日心情
    怒
    2022-2-20 17:52
  • 签到天数: 3 天

    [LV.2]偶尔看看I

    自我介绍
    哈哈哈哈
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 注册地址

    fastpost qq
    收缩
    • 电话咨询

    • 04714969085

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-11-21 08:19 , Processed in 0.250222 second(s), 55 queries .

    回顶部