QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 5681|回复: 1
打印 上一主题 下一主题

[个人总经验] Python爬虫仅需一行代码----crawl第三方库

[复制链接]
字体大小: 正常 放大

326

主题

32

听众

1万

积分

  • TA的每日心情
    慵懒
    2020-7-12 09:52
  • 签到天数: 116 天

    [LV.6]常住居民II

    管理员

    群组: 2018教师培训(呼和浩

    群组: 2017-05-04 量化投资实

    群组: 2017“草原杯”夏令营

    群组: 2018美赛冲刺培训

    群组: 2017 田老师国赛冲刺课

    跳转到指定楼层
    1#
    发表于 2020-6-2 16:00 |只看该作者 |正序浏览
    |招呼Ta 关注Ta
    仅需一行代码写爬虫–simple_crawl1 `3 g, R9 f& O+ I) a+ n9 l" h
    simple_crawl, x& P4 v1 B; T4 A3 E
    仅需一行代码即可达到爬虫效果9 u. a8 H9 V" V" M& m2 K
    项目地址(欢迎star):https://github.com/Amiee-well/crawl0 V' W$ c  h2 G+ W
    使用方法
    " J! V2 A, `' [; J) ipip install simple_crawl( r  L6 {/ D5 S) s0 b7 m# c
    $ P% y* d7 q5 ]9 B. O+ E
    ### 以下源代码为简单介绍,详细功能介绍再源代码之下2 W* ^6 j0 S" p
    from simple_crawl import request* T# N9 [0 k9 B' ]( l+ y+ [9 @
    request.parse(1 w' ~4 c+ x! b( Z/ p3 `
            # status 参数为运行状态,支持单线程多线程多进程协程以及联合
    ( C% y3 w2 d# P! T7 I2 L        status="aiohttp",
    " }( w$ i$ {4 h: K1 x1 J4 q2 f  [        # url 参数为爬虫网址,单线程状态为字符串格式,特殊状态为列表格式
    + ~  a# A; f# ?. T6 k0 U7 q        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
    : r! B: c: X5 [+ l( c        # login 参数为获取登陆信息,如淘宝等网址需要登陆信息
    5 ]3 z- W6 ^  U5 k    #login="taobao",
    ; N5 R" w1 v% m" T    # type_url 参数为返回源代码格式,支持text和json,默认返回text
    7 }! V" b; K0 C- O% D2 L. @. E    type_url = "text",
    7 ~, I6 L; ^" |    # Parsing 参数为解析方法,支持re、xpath和beautifulsoup
    $ I9 v' }5 _& @  S& t    Parsing = 'xpath',
    # `! n0 z( B, h, t    # label 参数为爬虫解析过程,字典格式,详情见下方
    ' F  Q2 w& e; b1 S, ~+ j2 p    label = {. f( K- f& Q4 r9 @: f2 @. D2 F# C
                'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],6 s8 T( i9 g' K) \( v
                'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],1 L6 [# h3 l1 b/ Q( g! x' L4 G
                'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
    ) G5 a. N1 t3 V' T& A     },
    " Z, Y( Q; K- B' r# {/ B) K9 J0 @     # write 参数为爬虫结果保存,支持txt、csv、pkl、json,注:特殊状态爬虫信息容易混乱
    5 d2 e, p0 [" B6 J- ^& \     write='result.txt',
    " U/ h) _  R  n0 p  V     # next_url 参数为下一页爬虫地址,@必须为href,仅支持单线程爬虫
      D. {- O7 {! J! \% k2 ~; ^/ E$ d% C     next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    . S6 N& q. p! B( \     # page 参数为断续笔记,第一个参数是否启用笔记,第二个参数选填默认page.txt,仅支持单线程爬虫' m, u2 H, d  z& d  C1 @
         page=[True,"now_url.txt"],
    * h: `- c; H: T, E' ?9 K, ?     # clean 参数为是否进行数据清洗,防止大量爬虫收集无用信息$ j+ m6 N( W; r1 \. b4 m) n! b
         #clean=True,
    ' r7 K% Y! g# s# Z1 x     # texting 参数为是否选择连续爬虫,避免爬虫过程中出现非代码问题报错结束爬虫程序% d6 [: T1 ~# h5 Y1 N' R6 Z: \, d
         texting=True,
    . ]: d: p/ U* P  M+ o, v2 y     # Thread_num 为多线程数,默认为1单线程,支持多线程状态和异步状态0 [  A+ f7 J( T! Q; g- p
         Thread_num=3,
    ( j& h. t# y0 i0 ^: a+ [     # cpu_count 为多进程数,默认为1单进程,支持多进程状态和联合状态9 H# T& o1 `9 \; M, }/ _
         cpu_count=1,$ }! T; y9 |) M6 O
         # sem 为异步控制数,默认为5同时启动,支持异步状态和联合状态; @/ P4 B" `8 p, _% }$ m6 x
         sem=5,
    , U- G5 L  q  D# J+ e     # write_SQL 为是否写入数据库,默认否. e4 D! J* v0 A
         # host 参数默认localhost
      _% V: }1 }. \* [     # post 参数默认3306" j, o9 |4 M# S$ `# s
         # user 参数默认root; ~) t! s6 z) H
         # password 参数必填,必须正确5 S, a" d  Q( {' y4 j  L
         # db 参数为即将存入的数据库名,若不存在自动创建
    + `9 E" r  z  _     # table 参数为即将存入的数据表名,若不存在自动创建. z+ a' U4 E/ E0 q9 J
         write_SQL={
    ' g. V, |; X8 y# }2 R% Y3 P         'host':'localhost',, s0 Y) Z8 b2 S" y; H, N
             'post':'3306',
    , k  F8 N7 y% {5 O& j0 a         'user':'root',
    3 v. H( n  P9 j8 T! p$ {         'password':'123456',2 E  `8 l& d, t  f
             'db':'example',
      l& c9 G# }' w- R8 ]' G5 {: ^         'table':'example'" ^8 I6 G, K& p) D/ X- N* b9 C+ f
          }' {3 T, W0 e; ~- B9 g- x' o' _
    ).run()
    0 y% C. O% ?& `) B6 Y2 Q4 y$ B3 E: L& D: I* l/ T) J
    介绍一下crawl参数设置:
    4 E2 a: B+ i" Y1 A( h& K
    7 M) W% V' C5 ^1 P$ A+ L) I' U6 O'''
    * R  S  P5 u4 U2 a! i单行代码爬虫程序执行5 |- T3 {$ e( I& M* ^
    :param status:启用爬虫类型,支持普通爬虫、多进程爬虫、多线程爬虫、异步爬虫、异步多进程爬虫,参数请参考文档
    2 b$ M5 H3 Y& C:param url:即将请求的url地址,仅支持get请求
    ; t' p' I, i7 k9 z:param type_url:请求url后返回格式,支持text和json格式返回
    ( Q: l" v9 j4 w4 f& `2 J:param Thread_num:即将启动多线程个数,默认为1单线程
    & t% f3 j, \$ X" k:param sem:协程信号量,控制协程数,防止爬的过快,默认为5
    " t+ ^, g& U* `( K:param cpu_count:运行爬虫使用多进程cpu核数,默认为系统核数一半: x! c; k( @5 Q; [" q& `
    :param login:模拟网站登陆,保存登陆信息( T6 h; d  a; B& }! e+ D# }
    :param Parsing:爬虫方式,支持re、xpath以及bs4方法
      C  |! s$ y8 J; g2 f* f:param texting:是否启用连续爬虫,爬虫程序异常报错后重新启动爬虫,
    0 H2 k. g; B6 G$ l. e) E& p  w                       多次报错结束程序,默认否
    ( o) M* M, r; b/ ~. C  r:param label:选择器内容,字典格式保存,+ K+ }- Q  l) N( ]) U/ O+ O
                         字典值为列表格式,第一个参数为选择器,第二个参数为转换类型
    7 Z* M9 a2 `7 p6 \, a) v1 y* M                     第一个参数必填,第二个参数默认str类型- r  }: i4 e) R- r6 Y2 O) T8 h- i9 {
    :param write:是否写入文件,支持txt格式、csv格式、json格式以及pkl格式,默认否# b; `0 @; I2 @. }+ D9 W9 |
    :param next_url:是否跨页爬虫,选择器内容使爬虫继续翻页爬虫) ]3 O- e) y3 K4 b% s+ Z2 z5 B
    :param page:是否选择断续笔记接手下次爬虫处理,默认否
    # W0 W3 i4 k# |" K. ^  ?. j& p4 v:param clean:是否进行简单类型数据清洗,默认否
    # A) Y& }8 Y: ^( p% {2 Y. S:param write_sql:是否写入数据库,默认否$ ]/ \3 p: o6 X% ~3 ~
                             'host'默认为'localhost','post'默认'3306','user'默认'root',
      G" T7 t& d# V" A8 c, P                         'password':'密码','db':'数据库','table':'数据表',
    7 k: D7 ?# S1 c; i5 w                         检测库是否存在,若不存在则创建,若存在则直接插入,
    ; H  H: j2 A) e1 H( D0 d                         检测表是否存在,若不存在则创建,若存在则直接插入: B7 V. i+ X' r$ }7 m* P, z
    :return True9 P% M5 ]- [- Q1 s$ o& T: H
    '''
    " [$ S% r% c/ D! {介绍玩法: V+ ?+ f! q6 d8 f" h/ `* t- e
    接下来介绍的均为调用第三方库的情况下运行:/ [2 M! C5 Y& h! [
    ' w6 {! U: M" P7 G/ d* o2 F
    from simple_crawl import request
    . w: @' s+ d- V6 O% G第一种玩法:输出源代码
    9 |5 t( F0 e/ B. }) i调用requests库进行源代码请求。
    * ?+ n7 J: Q8 R2 r& F, Z# u( H4 n" k& f, [6 E6 X) D# {
    特点:
    ! ^2 a5 {: ?% s- \请求失败则调用ip池处理重新请求访问,
    : Z) X5 s3 }% O$ h' B6 q4 N出现五次失败默认网址输入错误。) w& y. b" x+ M3 ~/ J: e) I. O
    支持text以及json字符串返回。默认text。
    2 ]- I4 R5 U; F1 v2 f3 x/ f3 k: d# G- i8 a/ n9 g
    缺点:
    9 p5 o* ~7 G0 U6 q5 }暂时只能进行get请求,不支持post访问
    ) x7 D$ a- y& s
    1 {" Y$ u) O2 _; C! u:return text or json: v  ^- _) h1 [/ w' L1 b
    * N7 y2 V" g7 j' u7 e
    request.parse(0 }' C1 x3 j5 C$ H( L
            url = "https://www.douban.com/group/explore",% S6 X+ n. R: j- N
            type_url = "text"! v4 u( }8 T4 s* s
    ).run()
    * F5 F+ F" y( g) U# return text, y( e4 Z+ S0 E* h

    ! o+ z; S. X. M% W第二种玩法:模拟网站登陆并保存信息% }4 e1 I# c1 q; E1 L+ \- ~
    调用DecryptLogin库请求登陆访问。
    , y; ~5 z+ U+ c2 j! [! Z# t4 v+ G% L4 U. E& a0 k/ y8 S' k3 L
    ps:DecryptLogin库为大佬皮卡丘写的一个很不错的模拟网站登陆库,在此引用一下,因为单行爬虫原因不支持账号密码登陆,我将大佬写的二维码登陆使用过来了。再次感谢大佬开源5 n! V. d- d9 P6 y0 C* n% {0 U) E
    在此放出文档地址
    # r4 {- H- ^0 ?; q% f: ~, t  h$ x3 ~DecryptLogin库中文文档:https://httpsgithubcomcharlespikachudecryptlogin.readthedocs.io/zh/latest/
    # H  E3 M  E3 h( @( v' H+ h& w
    4 Q1 B# j9 u4 g$ F- I3 B特点:
    ) r, f6 t, ]9 n( t7 R$ J& A将DecryptLogin库中二维码继承到此库(非二次开发)+ v' G3 ?5 X1 G* D6 |
    支持QQ群、QQ空间、QQ安全中心、淘宝、京东和斗鱼登陆(大佬登陆库中所有的二维码登陆)
    . t1 P9 J6 {( J- f8 k1 g' I保存session.pkl信息到本地方便下次登陆运行
    8 S: h9 X' ]: y2 `+ Q$ |9 \6 G! V7 o' ~5 ?
    缺点:& j4 l$ A2 k& j( z
    session.pkl登陆信息过时无法自动删除。
    / W& v$ Z% a5 d! I导致下次登陆疑似cookie无法正常登陆。
    ' M# y. ?  z$ K
    7 b6 |7 l6 z# W:return session! W: f/ m7 w( h  {0 }  o1 j

    0 D" x% l) x* c8 ?$ l+ crequest.parse(0 W1 }- y+ {1 n; q$ v$ ^
            # 臭不要脸的推广一下我的店铺
    4 b9 j5 B- v, \+ a        url="https://shop574805287.taobao.com/",; \" m4 D% i* c& c" I
            login="taobao"+ n+ r% z7 L! `
    ).run()
    & |+ Z9 G* f- l' O# return text! ]2 M7 ~, f& }$ \8 X: H: w  h  k
    2 J& J' W7 s8 ^) C- x) W+ x8 ]
    第三种玩法:爬取网站信息
    4 Z) U2 s& S" L: w% k, \$ ~4 a爬虫库自然少不了爬虫的过程4 t* ~5 D0 s1 a! ^, q& u4 Z3 H" o
    ' k( i* n$ K( {1 m. I# P
    特点:
    , m) n! Q! I$ }3 T! k, [8 F支持re库,xpath解析以及bs4选择器。. I( u; Z, H5 x) I. v
    爬取方法为字典格式。单方面输出。
    $ Q" o  ~9 K% A+ H" W) t( {$ m9 `字典键为保存的字段名称。
    / N. p" Z4 N6 f) |  B. x4 {字典值为列表格式:第一个参数为选择器,第二个参数为转换类型。第一个参数必填,第二个参数默认str类型。: e$ c( [! i' l' p
    ( W3 _/ l3 ^  a& E
    缺点:暂无(等待小伙伴们发现)
    # i. `# P- n; c4 J
    " [& a0 H6 _4 P  P" M  P& w! \:return reptile_results
    7 i3 V! Y$ Y4 k( Z8 Q. U; m8 ~& ^: \8 R! ^6 n
    request.parse(
    0 s8 l# q: A; g# ]* C' B4 e7 p        url='https://www.douban.com/group/explore',; Z5 Q4 j% x+ d2 t* ~8 i5 u
            # 字符串格式,选择器方法。
    2 ]$ c+ {: m& B    Parsing = 'xpath',0 u# h/ I* s8 I6 }. f# q
        # 字典格式,参数如上。) A* L6 j0 x5 a  H3 j8 f' e6 Z
        label = {
    2 y8 \& R: D$ @        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
    ! t; i7 L9 w% J4 k2 I& x& t' _        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
    % ?/ |" A! }+ Z% \+ d- ]/ H# N        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]% P) I0 [' ~- B0 C2 z) p
            }* l# {" X4 P2 p+ A
    ).run()% Y4 ^) }% T4 v# }8 {
    # return reptile_results(list)/ i" S0 `! h" E9 I
    ( z7 G$ Q: P: w/ u' f
    第四种玩法:自由保存信息
    ' q* f% d: i# s$ g5 `% U2 C- A目前版本支持保存txt、csv、json以及pkl四大主流文件。日后版本更新将发布更为全面的保存方法。4 C8 r$ A- F  [# M
    % G) v8 ]3 r2 C: R5 z5 ^' a3 B
    特点:7 ?( A* e/ u& q3 J
    写入文件均为数据格式传入文件。
    + S. P/ y9 q1 F6 B6 l且输入格式规范方便阅读and省事。
    3 N9 y" ^8 B" t3 g1 ~- o6 K+ x4 i% Q4 D. @3 I' }6 u) q+ \0 ~
    缺点:! c; C* Q+ ?$ ^- f) k
    保存格式仅四种,
    8 E0 q/ f# A. s& @2 S不方便用户之后读写操作。
    2 z& K0 @  Y) C) g7 f, m$ f; d
    # U( C, a0 t5 p1 ~+ d$ V:return file7 h+ P% ^& v7 _+ @2 G
    2 G$ g5 y+ M( o/ U( b( ~
    request.parse(. V& `# K. s" g0 k: E3 k, ?
            url='https://www.douban.com/group/explore',
    / X5 e  R( c6 H& X    Parsing = 'xpath',7 h0 j" a4 }2 q/ F3 j' d
        label = {; m! e; v' D, e5 N, u4 u( J
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
    # y" M+ F/ k6 a! d        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],3 f1 n2 I9 i( i: u& _
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]) F) g2 X. ^$ S2 x' S  |
            },& ^, M9 m4 n( N. k
        # 字符串格式,具体保存位置填写) T' a/ @) O/ l4 Z$ \4 H4 U6 A
        write='result.pkl'
    , _7 m4 s- ]' B; L; V' W).run()& D4 ~0 _2 N  v6 w
    # return file
    ! g, a  n2 c; b* r" p
    5 U6 H% a% M6 _* j5 |第五种玩法:读取下一页 url 地址继续爬虫
    / u  @* `4 E* D* _1 S这也是每个人都担心的问题,仅仅一行代码怎么可能翻页爬虫。这还真能做到哦~
    . `! w  w4 [- s  s' \6 E* l. H8 M! K% L- ?
    特点:+ N4 v- B0 N3 |) l' A; z7 S. E2 j4 l
    继承之前的Parsing参数选择器选择方法。
    0 t, ?+ F2 e' x7 U/ X在这里可读取到解析后的下一页 url 网址。
    ! M, S" d0 `) L' M3 v方可继续进行爬虫处理。方便用户使用。- f) f* X& E4 Z- [  l) i6 M
    3 n, D3 i  J# q, _# `
    缺点:
    / D9 y! b+ P  e( x( `6 J$ M" [+ |若爬虫时下一页 url 地址改变,便结束爬虫。
    3 v( k* h" N( F( y2 E* _只能爬取所给 url 地址中的信息。5 f2 \/ H& s: E
    无法进行某一界面的多个网页爬取返回。
    6 b6 ^$ Z, W9 P造成访问页面单一流失。1 m2 U  a0 Q/ K5 q, `9 w8 F3 G
    1 @2 T) k3 {8 h3 L4 @8 g
    :return None& V+ T& Y+ h! T  x2 d9 h

    & @. g2 t- ^5 v, R# Urequest.parse(
    : I2 O; V$ K+ Z8 H        url='https://www.douban.com/group/explore',
    . K$ e! _* B* A1 ]' J2 A: _3 U& B    Parsing = 'xpath',# O: \* W6 }" a
        label = {! U- f; @: C+ a8 K$ {6 O
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
    # L) d4 j- G3 C9 L# j        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
    3 U2 y0 ?$ P2 n& L" J        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]! g' i6 Y1 W6 _9 T% e, \' F% _
            },
    / a8 t% C# G' F4 [& P    write='result.pkl',
    " u% d0 E0 L9 E    # 字符串格式,根据Parsing方法继续请求下一页a中href
    4 o  ?5 q" j1 m) x( s5 y/ A    next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',0 ]) z' X' ]6 n6 t  t
    ).run()6 I9 d, C( T" T% a
    # return None # Y0 d3 X4 t9 t2 R' h. D
    " u# ~% B( {4 @/ }+ U$ w1 R9 X. A
    第六种玩法:爬虫网页保存
    ! N1 G& ]( {: b; n( E听说过爬虫断续重连的朋友应该懂得这是个什么神仙操作。每次爬虫运行期间好好的,睡一觉醒来发现代码报错了。。。这就是个很难受的事,还不知道之前爬取到哪一页了,只能重新爬虫了啊!  w& y, c! [1 d, ^7 A0 }( s2 t5 v6 y% S) t
    # G) S, D9 M7 a! K6 k3 C, R6 ~% m
    特点:
    ( D# \  p$ \2 F% E持续输出断续笔记。
    ( p5 v# d  X3 u将此次爬虫的 url 地址保存到一个文本文档内部。
    - B) S6 w% F3 w6 g% M& y  g& j+ I6 J下次读取文本文档即可快速进行直接断掉的爬虫 url 地址继续爬取所需。
    & p( a( _# }' i2 N0 ^+ X: \6 O+ @! O% a
    缺点:4 K! X0 v5 R) Y/ U: J6 {
    读取内容不单一。
    ( ?& Y1 h# H4 @导致下次爬虫无法正确读取上次爬虫留下的痕迹。
      b* K: _3 {) }3 C3 R, ]; t4 B
    8 z  L9 H* ~7 u; v8 @6 |+ `:return url_file3 m. c3 }0 X$ d' g

    3 ?1 x( q5 ^! O, x3 ]9 T9 [request.parse(6 V  T! l9 Q+ l9 m
        url='https://www.douban.com/group/explore',
    ) i: t% O& X1 q2 f/ g    type_url='text',; w  |* ]8 p$ c$ G2 O& f) s
        #login='taobao',! \: c9 [& J" @6 I+ ]* j$ j8 Y
        Parsing = 'xpath',
    0 R  y0 n6 w& }# J  {6 q    label = {
    4 e5 s  v3 t2 V9 {( z! a: ^, g4 Y        'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
    0 o$ v8 h, v; f# ^" z- z" f0 ?        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],6 f8 g6 U0 r1 t9 n
            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
    ; h4 T' p4 l% I  R$ I' B        },
    " J3 ^2 i) X9 Y" c, a    write='result.pkl',) R3 m2 S5 L2 I+ W5 v: ^/ d8 Y
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',5 E) G+ c# n( Q  z+ T: M" p# e
        # 第一个参数为是否需要断续笔记。/ {& V* P/ W5 X
        # 第二个参数为断续笔记保存位置。4 ~6 |( z' K( K& V
        page=[True,'url_page.txt']
    ) N% p- _5 c8 q( L* w).run()
    ( w% e% f/ C# d" n) i# return url_file
      k6 Z0 t' ?, P
    # k# k% S$ b4 X7 E! Y第七种玩法:简单数据清洗$ `. S1 Q' v- @4 q9 n/ `  L9 h- \8 L
    数据拿下后,直接保存到本地有些大佬可能觉得很辣鸡,连清洗都不清洗就存入本地了?那得拿到多少废数据脏数据。那么接下来介绍一下清洗参数。
    7 E! W  X; w4 G( J' Z- t9 I( h1 i
      N  w6 F  ]0 @特点:
    1 j# z1 Z$ }8 o9 q0 [! L# o本人曾写过一个底层数据清洗。' R, J3 X1 T6 n* q! U: ~
    能将列表格式数据进行归分清洗。% b% i7 r$ s$ E7 B" P3 r6 @7 ]& E
    主要内容请参考另一篇文章5 t  p: F+ O( U4 Q" R9 C! D  ^
    如下连接:数据清洗8 F( l( ]# h/ N; o) v' v6 ?; C2 O* j

    ' I* V7 X4 t6 G缺点:8 U+ z6 g, E/ R- H7 M
    数据清洗格式简单。
    + m, N6 [+ m  ^8 K数据清洗内容单一。. f" q1 N/ I$ X  U; G0 A+ A0 _4 v
    无法完全做到绝对清洗。
    + L; i2 [2 {# L. q9 }有待改善。
    / M8 D& T5 L2 `: T7 K
    + p; c+ f+ @) [/ ]:return keyword_list, value_list
    2 m6 f, H7 A  l/ V& M
    ' q4 N) @; L4 w& D4 Arequest.parse(. i7 Z% M' n1 H! ]4 C& B. A
        url='https://www.douban.com/group/explore',
    0 J& t! k9 B: J! U    Parsing = 'xpath',
    / I# }4 E$ k0 X2 J% M/ z    label = {  G  y8 D& \) t# x
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
    . Y& y2 P5 [  e, c3 j" X" B        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
    : H* D7 ?/ {  Q, e  n/ E/ X3 S        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]. o( O# Z) [2 U9 m' k3 r
            },
    1 }$ a2 n' ~$ o2 n0 E    write='result.pkl',- z2 D9 A/ d1 {0 E& t. N: {/ _2 S; T
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',' G  X2 h1 X8 T' `
        page=[True,'url_page.txt'],
    ! o/ I/ w$ c! g3 O: m# G6 R    # bool类型,默认不清洗9 ]0 w$ S! [3 O' U9 T5 b6 m- U
        clean=True
    / ^- Q* a3 e/ R* w1 c).run()
    " i9 v, l0 K( |! o' u1 b) a/ W% \9 J
    9 M9 z6 M7 k9 t7 J第八种玩法:爬虫存入数据库
    # b2 b3 N  m1 f+ [. |  ~; l7 z存到txt、存到csv、存到json、存到pkl,那也太low了吧。现在流行的数据库用不了么?那是不可能的。。+ A# e$ ?# a9 I$ W) X
    " E5 D  w. R7 C6 [
    特点:7 k' C+ T9 p; J# V2 L% ?$ i6 l
    信息存入MySQL数据库。; `- a* }/ ~% X1 b9 I: F
    可连接docker远程数据库。
    ) ]5 Q+ F3 ^* E& S2 R$ j+ P数据库的库名可以不存在。
    / h. o+ P& f' H$ [# S+ ?数据库的表名可以不存在。
    1 G, i5 l  p! D+ C* S0 W4 z根据之前传入字典键与值参数判断表类型。
      U! Y1 G8 Q9 k! m. y自由建立数据表传入信息。% ^" K0 V9 G: ]9 P, \0 [6 ^8 f3 w& c

      f# b( b5 ?# l5 j& K5 \9 u缺点:, a& t3 g& ]& s; r( A) T: w' p
    仅支持MySQL数据库。: Z1 s5 t0 d1 Y5 t

    3 b2 Z( r/ @3 e" t$ M:return SQL: }& Z2 u! I7 ]! v0 A/ M2 D
    4 A  Z- s+ T9 j( A/ `& \) x
    request.parse(
    4 r+ U( ]" n% w2 X, ^6 R7 F    url='https://www.douban.com/group/explore',
    % k- l" [+ ^! W    Parsing = 'xpath',, W8 g" i( M3 [/ n9 x% @
        label = {/ N4 d. L% L2 U* o+ K
            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
    ' B5 N0 l1 m& \7 T. }        'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
    4 `0 X8 r9 b) c; ]2 S        'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]* r8 T4 z" ?$ t; o
            },, I9 R  D* U( ^" ?
        write='result.pkl',' e. b* i& F8 C( X  B6 ~
        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',# @9 H1 f6 o& X6 \: e4 w
        page=[True,'url_page.txt'],
    1 o: Z8 U+ F- h, Z8 R    clean=True,
    % h" N, Q0 Q0 }. J+ [( k    # 字典格式,
    . E$ |1 d5 S7 f8 H    # host可有可无,默认localhost
    0 G; C  p/ W1 a3 m    # post可有可无,默认3306
    - Q' D; r$ s: s$ h" z+ X) u    # user可有可无,默认root, p7 h; g+ Q  o' K4 p
        # password必要参数,数据库连接密码. ~9 ?# }5 M4 G3 A! k- J
        # db必要参数,数据库即将存入的库名& s  K3 v3 S! j; w' Y9 _9 z
        # table必要参数,数据库即将存入的表名$ e7 [. D+ ~: S& z0 `
        write_SQL={6 G- |1 C+ |+ S+ R. H2 v
            'host':'localhost'," \2 x, x- f8 W: X' x
            'post':'3306',6 T1 f) l; h, m
            'user':'root',* u  R; v* O8 O  l
            'password':'123456',
    7 E3 `# j- S% A3 t4 n        'db':'example',9 @* k, \$ p7 A- P7 T, J/ D/ ^/ I; ?
            'table':'example'0 h, h$ r# W4 d* L' T4 b0 j
            }
    7 p& ]6 P# A1 z, v    ).run()! A. c  F! K6 w, I; t/ m! k

    9 h0 k: R% H' s第九种玩法:重新启动爬虫" M  }5 n8 v4 z. f$ j% l
    爬虫最让人厌烦的就是被一个不痛不痒的错误信息给终止爬虫了,比如意外的远程断开链接等低级非代码错误,报错之后还得重新启动断续爬虫,就显得很麻烦。我做了一期爬虫程序异常报错后重新启动爬虫,多次报错结束程序。
    : b! ~; m7 I2 k3 L7 T/ s
    4 \( q. w2 S7 s  k5 q特点:% K' a* u% q3 g' Q# j
    检测报错重新启动爬虫
    / f' q, [, d% i" P无需手动处理错误信息
    9 O7 R' x/ e1 s! v9 Y: ?& S$ p3 M- S0 C; @4 C
    缺点:2 ^' P% N- n6 P- Q" T& r0 o* M
    无法收集子线程错误。2 w: a  g5 Z8 R4 \
    5 |% f4 t$ T4 A& H/ w. Z
    :return None
    ; H5 V, k$ B/ b3 q7 }1 k  ]9 r! {  X6 I8 T& i
    request.parse(
    2 U- B$ w7 O+ H- n, I. @        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],5 f( |7 X, |6 C: B
            #login="taobao",
    4 [" A$ Z1 O! ?' P        type_url = "text",6 _5 {* ^; G: n7 C2 N& \
            Parsing = 'xpath',
    " d$ q1 h% i+ `        label = {0 t) R7 |4 [! U' N* d/ l0 s
                'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
    7 [# R$ E/ J; o3 ~3 v: Y2 F/ ?            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],; g) r$ e& Z) B2 I) \- Q7 y8 h
                'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]! X, S1 o( {* d+ Q& R  o2 E, P" ?6 d
                },; w& }! a6 C3 k
            write='result.txt',
    % K* ]* w8 o1 Z# \: n8 Y        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',7 L: G! J) c$ b/ c2 J* n- ?
            page=[True,"now_url.txt"],
    6 ?1 ]6 D3 N( C5 w  p- u8 {4 a1 l        # texting 参数为是否启用连续爬虫
    ' [: C! p* s$ ]; z        # 爬虫程序异常报错后重新启动爬虫# a! b8 q. A, W
            texting=True,9 L# P/ X9 C& D
            ###! f. w( R% Q8 a  R0 t, N8 S& P7 b5 Q
            write_SQL={$ F2 I- q  M7 c) ~0 V/ X
                'host':'localhost',8 M% D1 @, r; S" ?$ \
                'post':'3306',
    9 p0 h/ I2 X" q; E            'user':'root',4 B" l: @4 G6 P6 ^" c! D
                'password':'123456',2 p" i1 r0 H4 Z5 K& t5 b
                'db':'example',
    , ]3 O; Y, k, |2 n7 s8 C            'table':'example'
    ) ^7 l5 K8 R. N) ^  k! A& S            }
    # i" `  p( Z* K5 w7 Q3 \).run()
    . }3 i' ^* P  I5 B- A- n8 s% d. n. }* o7 X# u. B
    第十种玩法:多线程爬虫" ~5 m! ]) o4 g& S( \
    特点:% D' ?$ J: l+ y5 |4 e% X7 C
    爬虫速度加快,6 o  J/ ?, R" R1 T
    更好的利用了线程。
    " W: C$ P. S) t) O. h( e* E- B$ w$ _- z1 c% i/ p
    缺点:暂无3 |0 ^4 A/ ^, m  V# R' r+ i+ f
    4 T, x, J4 E; u; C+ B# }. ^2 N
    :return None0 t0 O! w; Z) G) K: R
    $ s% Q) y  z, Y$ [* H2 {
    request.parse(
    3 K4 H, u5 Q( ^9 u! X        url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],) f3 B; g, f: q# d
            #login="taobao"," B- _0 q9 U( L, M  x. u
            type_url = "text",
    + {$ {  p) t+ o) M( Q        Parsing = 'xpath',
    8 S, _+ q2 [2 L! r        label = {7 E& f2 z  I' u  J3 |# ~: x$ m+ j! Q
                'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],* D* z$ v/ @7 W, r, p" t
                'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],, E  F( E) n1 z7 g8 s8 S
                'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]- W( g, g  p+ u( y2 F
                },1 o+ S. f& b% y/ g) k
            write='result.txt',
    * o5 \0 a, d0 N+ V4 ?$ V; ^        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
      ]5 |: f6 G; D) z        page=[True,"now_url.txt"],3 x5 x: ~1 y. ^3 [! F: F. @
            #clean=True,6 K( Q% s6 W& F" T/ i& ]
            texting=True,8 ?9 m, Y( i+ T! A' Y, g. R1 m  v* \* E
            # status="threads" 启用多线程爬虫1 z9 k. V$ W, x, P
            # Thread_num 为线程数目,默认为1 单线程% x% C2 z# l' u$ w$ L% L
            status="threads",% M' }/ d' z  e6 F3 U( X! S% e9 ?& h
            Thread_num=3,4 t4 F9 b  W5 W. X
            ###1 `2 H$ u$ h, |3 N+ E. c6 z
            write_SQL={& S6 D! n4 f# q9 O( R5 z
                'host':'localhost',! J" r6 Q# j4 Y$ z5 p! Y% v) ~
                'post':'3306',. x, ~- R3 u  u7 l$ Q8 G+ C
                'user':'root',
    2 s3 `. B- e9 ^4 j: C' f            'password':'123456',
    2 y  \$ Q% I$ t% ^. E0 \# d            'db':'example',! z: v" {" P+ m# b0 }; X6 M, `: k
                'table':'example'! g5 u7 V' [; g; r, w3 A
                }# d0 U+ f2 e5 Q6 P7 u
    ).run()' y3 ~+ F3 K8 z' u! g$ U
    $ K/ b8 ]: L% ?$ \1 ^$ g2 j0 Y
    第十一种玩法:多进程爬虫
    2 Y6 n" F7 u( |3 h特点:4 G' V; v6 c5 u- A5 z- B0 Z
    爬虫速度加快,% p* k* K$ D- c! r) Q* F1 `4 n" ^8 n
    更好的利用了进程。
    5 N% I+ C$ E# F! l6 H  R: G3 G
    " y7 n- _3 D' _5 ^7 t缺点:暂无
    5 Z% b1 s- T, {1 A4 @
    ' y! y  \5 Z% ]" T:return None
    2 O0 ?+ Y2 t1 _5 h8 r) b% O  W8 b, M7 l* V0 B0 A
    from simple_crawl import request/ y; A5 w, j9 ?% W1 `# _* I9 t
    request.parse(7 d5 m9 j, R4 F7 b6 t' r
            url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],( H7 w7 x' v: _# N4 n# g
            #login="taobao",4 d2 [& }( {0 H- f1 G; j
            type_url = "text",
    ) _" ^9 z6 c6 n        Parsing = 'xpath',
    8 W) e+ u, I2 l- h        label = {) |, e5 v6 [' @
                'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],: o4 H# j9 v: P, u) W& `4 d
                'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
    7 t0 U% h4 [8 ^5 Y+ K) e            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]
    0 F) G5 L& A: o0 }$ S: m5 b            },
    4 r  j3 P- h2 {        write='result.txt',
    % N% I/ k) H. u" U% ^# R! C        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',7 p$ a9 T% r1 O* R- Z4 p6 ?/ q/ Z
            page=[True,"now_url.txt"],& i7 I. H8 Y8 A$ z
            #clean=True,. x! S/ b  ^0 M/ g# k9 n# G0 v
            texting=True,
    " a5 I' i, i4 Q7 b& \% }4 e# b        # status="multiprocessing" 启用多进程爬虫
    : {: ~/ D3 X6 ?5 N5 }- ]* C2 L' b        # cpu_count 为启动代码核心数,默认为系统核数一半6 F4 {. Z. h4 N  ~
            status="multiprocessing",5 p+ t* m' p& e/ I4 b0 ]
            cpu_count=2,
    1 G; p/ n" o- S6 X6 z. y        ###
    - m  y( E5 l1 K) s8 [8 E; f% W        write_SQL={/ T) V7 e" }# X3 S+ _
                'host':'localhost',# s! v, a1 y6 L; W1 o! i3 t+ m8 y
                'post':'3306',
    . l8 k& p6 E8 q/ O, Z( X; J4 n: ^            'user':'root',' R! D: c  a% Y0 v$ _! h
                'password':'123456',' {0 |* w2 ~, h9 f- l2 X
                'db':'example',
    : H4 \! T- q$ q1 q            'table':'example'
    ) v/ D: m! L( o' K% \            }
      s7 i  _8 b. g  m5 s6 t).run()
    2 g9 L4 p; s* `9 C( ~& m+ b! R9 v6 |$ T% o* C6 ?
    第十二种玩法:异步多线程爬虫% ]9 D( X1 J2 L  v
    特点:# A- f" i+ d' i; K, X0 o
    爬虫速度加快,
    ; ?7 c2 y! \2 |5 r: y' H' C0 X异步使得爬虫无等待时间,- U0 }7 F. m. G$ D8 `$ F6 U/ w1 A4 ?4 `
    同时使用多线程速度明显加快。( n$ ~1 @8 X: d( W2 }

    7 V- e/ \; H# P% q. V缺点:暂无
    8 q8 t+ |+ N/ X) @# k0 p" J1 i; K2 g& Y3 m7 N2 a
    :return None
    6 i& G1 Q: z% i5 R# j% g% n! Z' V% @# s) [& t' D% k
    from simple_crawl import request
    8 b9 ~! s5 Y/ _1 m; Urequest.parse(+ E3 t3 r9 S/ F: F- `7 k8 I
            url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],. Z" y8 J: D, [3 Z+ ~
            #login="taobao",& V( A: ]1 g: E$ n6 @
            type_url = "text",- c: q* Y0 m1 [* c/ f* f
            Parsing = 'xpath',
    * z  z( g1 W0 z3 O( X        label = {
    ; A+ g' g4 [6 U9 A- z4 W' j            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],
    / a8 B! n3 n, K5 |. _" G) x' R: e; N            'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],
    1 O8 \8 n4 F/ F            'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]2 M, L$ x0 t, U
                },* ]+ x6 \) l- ?: X- r
            write='result.txt',' l2 e0 j1 w. X3 k8 k- ?: K
            next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    / V; E" w6 i/ ^$ h0 G        page=[True,"now_url.txt"],5 u( L; k. }/ U
            #clean=True,
    2 z+ L% r* U, h( N: ^6 g# A% z) {        texting=True,
    , S4 U, H! u' Z        # sem 参数为异步引擎数目,默认为5
    5 J* I+ l0 s' C' K5 E        # 其他参数同上
    : @# t! N* G, }3 w4 C: p/ m        status="aiohttp",
    2 }( ?1 [4 G" d3 Q        Thread_num=3," q. D! W" Q" z$ |/ H
            sem=5,9 I9 N: x, ~  S# X% u8 `2 C7 r
            ###( U3 T3 C0 ^* `/ o* g- l  s4 ]# w
            write_SQL={# F+ P& @% M1 U3 j. a9 E
                'host':'localhost',4 H# K  x, F( x# `* ~# F6 w* e
                'post':'3306',
    * m5 z1 o9 j% f( t4 i" _* e3 @            'user':'root',
    : q: x: E' M4 o# E            'password':'123456',1 f  G% n3 a5 Q; V0 D1 I
                'db':'example',
    , J! E" G7 s# r            'table':'example'
    6 W/ P. I/ g! `8 r0 T+ R            }
    & i5 G% ~! j; E; Q7 ~' c).run()
    0 x  Q! e- Y/ i& h4 F3 S  \( H2 u+ J( \) ^" h! m8 X
    第十三种玩法:异步多进程爬虫' L0 S. p! v: d2 T
    特点:  i1 a% E) B' J# X) e( P$ B
    爬虫速度加快,( q% X9 ?5 F. J6 ~
    异步使得爬虫无等待时间,0 |) [& f6 W6 T$ ^9 l2 w
    同时使用多进程速度明显加快。
    1 H! J9 c. d5 j
    / m2 q+ K. l$ I* _+ V2 X缺点:暂无
    7 {6 f, B+ o* B& i2 R! o0 D* O  b$ k4 e$ F8 F) v& J
    :return None" f* g& ?: W$ C
    4 K$ Y4 d# L* q) g
    from simple_crawl import request
    * q/ {( i0 C: W5 A% [* j' u- u" Mrequest.parse(. E3 f4 ~2 ], \/ s8 e+ }! g
            url=['https://www.douban.com/group/explore?start={}'.format(i) for i in range(0,180,30)],
    * C# f7 T& |0 `0 O- }) L        #login="taobao",
    , j( W& y( ]% R( [5 I2 u6 W8 L        type_url = "text",) p" r) D. \9 G
            Parsing = 'xpath',
    + Q: G, l, ]+ z' y7 n3 H        label = {
    7 |: J' C# d, Z3 _" \! ^5 c+ |            'url':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/@href',str],# E& o: O, g' q' p0 u3 {' S
                'name':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/h3/a/text()',str],8 F$ T$ z: s9 j7 |
                'Author':['//*[@id="content"]/div/div[1]/div[1]/div[1]/div[2]/div[2]/span[1]/a/text()',str]& W; H$ z! e1 I6 N- W
                },
    ) R+ h! e& D& H- a! Z* A        write='result.txt',
    ! F6 F- [! o) D) I+ k        next_url='//*[@id="content"]/div/div[1]/div[2]/span[4]/a/@href',
    " j& x" ~  I/ j7 s        page=[True,"now_url.txt"],
    # a2 z  }4 V& r. M        #clean=True,
    8 d' V* Q" R& z, p8 K& W* G        texting=True,1 T( T+ v, r& M; m( w
            # 参数如上
    6 K( M7 N8 Y; t; ?        status="between",' i" E  N* |; X. f# B
            cpu_count=1,& f/ s/ \  S: o3 }
            sem=5,9 f5 F" l$ r) U
            ###
    ( |! j$ `* Q2 s+ k& _" D( g# o        write_SQL={
    # W1 s- k! s0 ]% P3 B, B            'host':'localhost',
    . ^  V/ O! @# F& E0 x( v            'post':'3306',9 s( v# t  ?( I$ B% S
                'user':'root',  D+ ?+ F" E, Q8 z
                'password':'123456',
    * i9 }: ]' F5 N/ x            'db':'example',
    % `3 n+ Q$ ~' v, \5 |            'table':'example'
    / |4 E6 [% W; n8 Z            }
    , t- d0 ^+ k( r1 \  M' H).run()
    $ V+ g& s7 W: A1 l8 [; h3 {) s: m0 `2 q6 }3 g8 c$ Y/ }
    0 a5 k/ |- @5 f( E
    功能介绍完毕🤞
    . w- V1 o# R( A$ A" |( j8 `& g最后还是希望你们能给我点一波小小的关注。" o7 x1 x  ^2 V+ G+ C
    奉上自己诚挚的爱心💖+ e: u5 e  t; T- k* r$ a
    ————————————————
    3 ?+ w! J$ g8 M/ U  [版权声明:本文为CSDN博主「꧁༺北海以北的等待༻꧂」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。  J+ N% O7 H' Y
    原文链接:https://blog.csdn.net/qq_45414559/article/details/106005684% d; X& X) m# P7 I: g  L

    5 t" Q" g3 K2 b) V0 B3 g, ~2 ~: [- x4 p9 f' H
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    738391227        

    0

    主题

    6

    听众

    32

    积分

    升级  28.42%

  • TA的每日心情
    怒
    2022-2-20 17:52
  • 签到天数: 3 天

    [LV.2]偶尔看看I

    自我介绍
    哈哈哈哈
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 注册地址

    fastpost qq
    收缩
    • 电话咨询

    • 04714969085

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-11-21 07:51 , Processed in 0.277823 second(s), 56 queries .

    回顶部