QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 3926|回复: 2
打印 上一主题 下一主题

Python爬虫常用库总结

[复制链接]
字体大小: 正常 放大
杨利霞        

5273

主题

82

听众

17万

积分

  • TA的每日心情
    开心
    2021-8-11 17:59
  • 签到天数: 17 天

    [LV.4]偶尔看看III

    网络挑战赛参赛者

    网络挑战赛参赛者

    自我介绍
    本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。

    群组2018美赛大象算法课程

    群组2018美赛护航培训课程

    群组2019年 数学中国站长建

    群组2019年数据分析师课程

    群组2018年大象老师国赛优

    跳转到指定楼层
    1#
    发表于 2021-7-8 14:55 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta

    % ~' G; s; H' [4 I. R4 G5 o1 {Python爬虫常用库总结7 E( g$ y6 e* d* \% O& V, W5 l- Y( z
    文章目录4 o4 E- q4 s3 }  ?+ S1 o
    requests- r2 l& }7 J4 v0 D- v% [
    requests基础
    2 I; l' Q9 C6 ?0 M3 D* lrequests模块发送get请求
    9 u& @7 N" O6 Y# Y8 m; ^4 U* Cresponse响应对象
    3 f: V1 _, l% M; ~; Nresponse.text 和response.content的区别- R' w( m& K8 [- C
    解决中文乱码  {. W8 |. I7 B
    response响应对象的其它常用属性或方法
    8 R: [0 e$ _5 ^1 crequests实操
    3 L7 ^3 q& m3 f0 \% n  G  nrequests模块发送请求
    0 j1 O+ a" g5 W发送带参数的请求
    $ d+ C2 a8 N' R; x超时参数timeout的使用* U  _; g( D6 ?, R7 t
    requests发送post请求的方法7 J/ c, ^2 Z4 Q1 `7 O
    BeautifulSoup# C, y/ }8 l3 q+ N
    常见解释器的优缺点. }  ]6 ?1 B8 h3 Q8 X+ v" |
    常用操作) E% A$ f3 `4 F2 w, Z' H7 x
    几个简单的浏览结构化数据的方法
      q4 W  t" T( E' a6 |6 N0 p% V3 l+ ]从文档中找到所有的< a>标签的链接' u$ A4 O" v$ V+ ^+ n' d
    在文档中获取所有的文字内容' Q2 A+ W4 H4 S2 q7 V3 T
    通过标签和属性获取
    " [! a4 T! U; P$ _Name属性
    6 Q9 M: p+ k0 G" F  G多个属性8 }2 ^( ^+ H# l2 \& y
    多值属性
    * Z6 X( j. a  X5 k, m$ J可以遍历的字符串
    ! E7 b6 `: Z4 i注释及特殊字符串) e6 U% c) Z% f9 D* y4 }' f; U
    遍历文档树( w; Y. a3 k, r8 e& O
    子节点
    % |* N, R" c$ A' s2 p: xfind_all方法1 i; G4 b5 }, ]6 z/ P
    .contents和.children. S  Q4 g" h& |" D  R4 H. K0 h
    selenium. i- [3 D# J% Z/ r, M
    selenium介绍
    % k. \. Z" N$ S+ `$ Ichrome浏览器的运行效果
    - P4 }8 u8 }' mphantomjs无界面浏览器的运行效果% g' r4 \& r  u2 E7 h+ a& @: f
    selenium的作用和工作原理
    1 r  l0 N! o+ G! t0 uselenium的安装以及简单使用) T% |" x5 \) x" ^5 ]
    selenium的简单使用
    ) t! {  F1 A$ c$ U2 z" s. Llxml
    % t- C8 b8 `' ?9 v记得安装快速第三方库,Python经常需要安装第三方库,原始的下载速度很慢,使用国内的镜像就很快啦
    0 T# P7 t& M) J4 s7 b. Q7 U) M5 R8 @7 f
    + d4 {! P/ G4 g% ~
    - }& u: n& T6 K6 @& [1 r6 `
    pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple 包名
    ; |* Y0 J! z3 K; u5 ~! l, H1+ ~# ]  k$ s" w
    快速下载模块( m+ _( t. D2 X
    5 h, j& ~( Z$ C

    ' ?# J1 e  }+ n2 X9 i+ N. c官方网址:
    , \7 t& Y0 r2 V  U: u* k; [1 c+ k) c: s* l
    2 _4 W, [, N6 D  I6 N
    Requests: 让 HTTP 服务人类- I# o- n, t! k* @
    Beautiful Soup 4.4.0 文档/ L3 ]6 A! o0 g
    Selenium官网6 T2 O, T. F) D. E( J/ h
    lxml - XML and HTML with Python
    % c% y, f% C: Z# ]! N# M5 s$ Qrequests9 f; J. X! Y/ o8 E% q( K. d
    requests官方文档 https://docs.python-requests.org/zh_CN/latest/
    . U* ?1 m* c5 V* R. f# B
    . d9 K# g" `& t8 X: m/ Z2 K
    / B) U0 d- ?& s. P& Q: u
    % i" ?8 B" E$ i
    . n+ R" g8 S' T3 Z3 w: m- b6 J

    ; h. J: V/ z6 ~1 I2 {% }" w% G
    6 B9 H0 d# h/ @, F2 l6 g
    进行爬虫,首先要对网址进行请求,这个时候就要用刀我们的requests模块了。requests是python的一个HTTP客户端库,跟urllib,urllib2类似。与urllib,urllib2相比,requests模块语法更加简单。正如他的官网所说:
    ' f+ g# `6 e5 T9 g: W5 \5 V. i* W8 X8 n

    - U; D+ ]; u5 M. ~( g  K( F5 \$ I  U$ ^3 q" Z
    0 |- \+ \4 \. G! d/ T
    requests模块介绍' b; {% O0 k7 P4 t, k3 I

    ( W: @  w+ ]  [6 L, M3 p

    2 Z; n- `2 ~* e/ b. b* T* y发送http请求,获取响应数据7 c' H9 b" \9 F* G. b/ J- X- |- v

    - F# ?- n7 s! V; |8 s
    6 S- V" O, B: t" O
    requests模块是一个第三方模块,需要在你的python(虚拟)环境中额外安装
    . H' ~3 p$ w& h; y- V8 ~6 W5 O: `( \" }5 \! o4 C
    * n& K) d1 {$ x% N# l  h' p+ u) _
    pip/pip3 install requests+ {4 ^6 S4 U% d6 j/ u! n) L' n
    , V; a7 j# }' y. l) v' l; k8 ^5 x
    : m$ d- }6 R- [' O6 F" b
    requests基础! W5 @! H! q' B* f/ G9 I1 |
    requests模块发送get请求
    8 ]: J, @5 P1 ?4 T0 x# i#https://beishan.blog.csdn.net/
    0 T9 Q2 I1 u/ s6 F( bimport requests - a# @  W1 g9 p+ I, \
    # 目标url4 f+ s: e& g8 c
    url = 'https://www.baidu.com' 8 m4 g: t2 r8 |" r" [/ R
    # 向目标url发送get请求6 d% i7 @0 k8 z: }4 P
    response = requests.get(url), F. W- c& W! R$ |5 i+ m6 k+ f# o
    # 打印响应内容/ O; q, U% ~$ \% h) g
    print(response.text)
    ; d4 w8 X. U' N6 @& h9 \1
    ! u9 }9 i$ r) c2
    4 y" _+ q5 }* k3 |+ g; ^3
    % p; B/ ~2 c9 C. @9 t) X# x42 K8 f) d2 t; A( Y) `
    5
    ; y: O; m0 P* X6 t68 A7 n( P7 y& p$ {4 u( {. z( `
    7' q4 W, c' i+ ?3 G9 N
    8$ X! z. l7 ]! Q& d2 Y7 a3 K
    response响应对象
    1 U4 ]7 v0 j9 e4 M6 h2 w观察上边代码运行结果发现,有好多乱码;这是因为编解码使用的字符集不同早造成的;我们尝试使用下边的办法来解决中文乱码问题
    / j! y' T( X5 X& _& K1 F- X# j! Z/ }# J% ?. b) y
    " I$ i( k3 J% \2 P2 x8 a; Q4 |
    import requests + Y8 {  A1 _2 U- R& H7 l
    url = 'https://www.baidu.com' 0 R  j) H0 V1 A. s' g7 ]2 m
    # 向目标url发送get请求
    9 Y5 ~( ~/ j+ Q- |response = requests.get(url)
    0 F+ M8 K% Q, o! u# 打印响应内容
    # ^8 H- B2 L5 \7 b1 G& Y# print(response.text)% \3 L7 b+ W, }0 O
    print(response.content.decode()) # 注意这里!
    % M; {( K' {2 H/ A5 A1. N; k- H. L9 u; T& T; C1 X+ X
    23 Y* N3 e# `- r3 b! i1 w
    3
    0 G( j3 U6 Q0 Q7 ]4! n% B+ J" H: @! w; f: M
    5
      w, i; @& T; v" j) x6
    # v3 Y0 `% }( s  G( {7
    7 g7 f, ]; S9 h5 Z, x6 s# X6 Mresponse.text是requests模块按照chardet模块推测出的编码字符集进行解码的结果
    ; h' N0 H7 H; N/ |; _* x网络传输的字符串都是bytes类型的,所以response.text = response.content.decode(‘推测出的编码字符集’)
    6 ?; N- a; p( `2 P我们可以在网页源码中搜索charset,尝试参考该编码字符集,注意存在不准确的情况9 K" m! x2 @& e! W) U9 A
    response.text 和response.content的区别
    $ D, C3 k1 a- C, C) I$ A. x& r% eresponse.text" J( j$ a! T5 T3 }* u
    类型:str8 j8 m  t! {  f: j9 d# i
    解码类型: requests模块自动根据HTTP 头部对响应的编码作出有根据的推测,推测的文本编码8 @1 O( _# f# Y, H/ x# g3 {9 `
    response.content
    # q7 u5 x& [( V) O1 ~# }$ w) _3 r* D类型:bytes
    - n  [1 D: d, g& e! R2 S解码类型: 没有指定
    ( b" D) n! j/ |/ L2 [  a解决中文乱码( g6 T( u  n* @8 G& ?4 g3 N# E
    通过对response.content进行decode,来解决中文乱码
    8 `4 ^$ G3 b; @2 n  T. R+ i- g! Y( b- p# `7 C: j; U

    2 q8 h$ \6 h# j3 \8 @response.content.decode() 默认utf-8  ]3 x- M0 |  x+ ?3 ]# Y* g& E
    response.content.decode("GBK")
    - u' o6 F. w3 k& A# b8 Z1 b常见的编码字符集8 E/ f& `8 R  j, _, |
    utf-8
    ( ]" h( @% i& ~% {gbk! _: `" n* `/ o9 r5 j
    gb2312
    7 S1 h" U6 G( B" L' h: @9 Sascii (读音:阿斯克码)" o, Z# A, r5 ?# O7 p/ C' H
    iso-8859-1
    ; w9 Y4 A" n6 w5 tresponse响应对象的其它常用属性或方法9 ^% y' ~) I* Q
    #https://beishan.blog.csdn.net/
    $ _5 G) [+ S1 `/ o& A* {! S$ _# 1.2.3-response其它常用属性. Q  M5 O: @- x- `1 W% E7 o
    import requests. E, D& _- l- ?  a
    ( f1 X& n( g, d+ _
    4 S" n7 E- I  _7 U2 Q
    # 目标url( a8 D- J: s. s" O% V
    url = 'https://www.baidu.com'
    4 |7 y# {+ Y, w0 _1 _. y( @2 w, B$ B' p: v+ {& H

    . g  K4 h- m! d" I! ?# 向目标url发送get请求
    1 ?2 o! U* b" l- D3 Y/ tresponse = requests.get(url)( P! q+ A6 b& x0 u
    ( `8 n* L8 x+ d1 _0 T: |
    ) U0 g, S1 U1 y9 Y: M; C  ~
    # 打印响应内容
    + N5 O- q# b$ Y& Z# print(response.text)
    6 k. Y7 o. ~7 `: n# print(response.content.decode())                         # 注意这里!
    $ \  ]- j0 `, t- e* {print(response.url)                                                        # 打印响应的url
    3 Z" L5 @' O. I. s) d* P! Cprint(response.status_code)                                        # 打印响应的状态码
    : f0 Q; y# t4 A7 ]1 q$ tprint(response.request.headers)                                # 打印响应对象的请求头
    ( k/ b% [; e  p3 D7 E# Pprint(response.headers)                                                # 打印响应头
    & A- p3 A, \1 Dprint(response.request._cookies)                        # 打印请求携带的cookies# d  W* P  r3 T" p( P7 \
    print(response.cookies)                                                # 打印响应中携带的cookies' _( X$ l" W& v6 H- L% }0 Z2 x- j
    1# h7 U+ L5 I0 l( D, x* a
    26 U5 h: t1 W- @9 P7 u5 K. Y  C& t
    3
    2 m' \; T, j9 i4
    8 q1 b. Q1 p8 H* I5 q4 z5' z8 p$ z$ T7 o! m! a0 p6 X! y
    60 D; {4 h, J: l% _' [3 w: H
    7
    4 f* f# q% A# P( J, M7 h5 }* i8
    7 E& a: E7 G+ R' X6 |! N99 a* k# b1 {6 d4 k" W/ h0 P
    10% x; y) s4 `: p% x
    11! k3 q( x* F2 W& ~7 U
    12
    $ t( z* y4 A! F# d; c13, y3 M) |3 P* I  t1 y
    14
    1 N  r. R5 h- d" h/ L15
    2 L4 ?% Z& |$ U0 S16
    2 W" q6 E7 e/ |$ I17- i* N3 R) D4 {/ j, }
    18. X& y' \1 M) A# u/ A" a2 @0 Y; o
    19: h: t8 B9 ?2 c+ J7 Z! m/ W
    requests实操0 t  |! F5 r2 @- r  f
    requests模块发送请求
    ( G% m( a  w' v3 S# c7 n发送带header的请求2 k( Z, T* N) C& y: Y

    2 b! Z2 D& j7 S" }

    # Q# f0 E; k9 M/ F5 c. x0 ^8 K我们先写一个获取百度首页的代码- v* z1 ^5 L4 @; ]
    3 H+ n8 G7 W5 [- e% m. C

    ' m  ]) F% K) k6 p; B5 Vimport requests# a5 P: X9 X* ?& {% c7 R7 @
    url = 'https://www.baidu.com'. c  f" I2 [! r" R
    response = requests.get(url)
    1 M3 N9 s- h7 a0 I9 E6 d& Vprint(response.content.decode()); }# g5 T4 t4 A( U
    # 打印响应对应请求的请求头信息
    0 U7 c' _' O, `$ zprint(response.request.headers)( p1 n! m  n: Q( _: Y
    1
    # b! }1 W( U1 G& Y2
    + L# a) I7 X9 R# g3% p! ^! c+ \' C0 ^
    4
    8 J7 F: g- w# V5* a& p4 D, ^3 o7 u- l
    6! ?$ \7 g6 f0 D  @0 P3 z- A0 `
    从浏览器中复制User-Agent,构造headers字典;完成下面的代码后,运行代码查看结果
    ( G9 F/ s. {: D# Y9 O  z# z# j- j- c; U8 D- G

    0 r" Y5 k; Z& D* I% G, z, H. M/ Himport requests
    + z  F2 ]( d" X0 F
    4 X6 a! k2 [0 i2 z
    9 r" l# T3 [$ g, ~7 p* X4 z, X1 v! p  C
    url = 'https://www.baidu.com'
    , z& o* D, {; a7 ^* `! _! F/ G7 V: {" j% b% c2 R9 @
    ) b7 C. H0 p8 n* h. X) d5 q; f
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
    9 F' u6 J2 _& u; v5 g2 h; J- q9 l( F/ ]; L: ~7 w& |# d
      a( r4 i2 ^. I
    # 在请求头中带上User-Agent,模拟浏览器发送请求
    / U# K4 [+ c$ @8 o& y+ ]& l! eresponse = requests.get(url, headers=headers) / k; f, l  D) G0 m: K0 ^

    ) b6 q1 o* S5 x% c/ U5 ?2 L

    $ m6 C  p( a" a/ v2 S/ k) ]print(response.content)2 T0 n- \' K& @: o& A' D/ b; J" d

    & o1 b1 B2 F4 C$ s" r% d; i) }) Y$ u

    & \* Y, o, g: V5 ?% Z" m# 打印请求头信息
    2 j+ [/ Y$ D2 K% |& Cprint(response.request.headers)
    / r& G& X5 l, s- B' r# B11 C- K* _8 k9 {
    2( `% V. t% X" N, Q
    35 U6 Z  Q$ r! N1 i, {
    4+ ]$ ]6 _! s/ W% p0 w! n6 o
    5$ @/ `' u# l4 }  c$ y* C8 Z
    6* q+ _8 F: s$ Y% h/ v
    7
    ' j& Y: q7 H  N83 M. Y! Z: Z" A* Q8 z
    9: g2 L# K8 [( L6 A. \
    10
    , W. x' ^9 K% @2 V117 T8 X0 S0 y  V6 ?& O& V$ z
    123 |7 h( G: D4 A
    13- O/ M9 O  ^  Z7 ~( ]
    发送带参数的请求
    3 M8 L+ [. O+ {我们在使用百度搜索的时候经常发现url地址中会有一个 ?,那么该问号后边的就是请求参数,又叫做查询字符串
    ' v3 C, Z  x2 d; j2 ]7 s9 a. q( z6 K
    * H: v, G7 b$ W$ Y

    4 P) y- M# O3 }; K在url携带参数,直接对含有参数的url发起请求
    8 E2 _! L9 C; g0 Y4 k- ]! W& t% O( I% X6 G9 m5 x

    3 ~+ ^8 A) y' @: }! `0 timport requests
    . H% F$ X$ w6 w$ T! W" J  I' K0 |. u! X9 b; i% f6 z7 f" H

    ) ~; D1 O( K0 Sheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}- I! Z7 G$ T; w% L
    - s" D! ^7 N# }3 z% h4 [: E1 l2 \
    / z# s; `6 W8 Q! I5 T$ w
    url = 'https://www.baidu.com/s?wd=python'
    6 g) `9 A1 m# p+ B" `$ J% y: g# E) w. [! ^

    ! q0 x" ]- N0 t4 M4 n0 T' bresponse = requests.get(url, headers=headers)5 I9 j/ e  W4 i7 v) a3 K

    ; U* f. N+ G3 M' B+ @* u: O4 B
    ) {8 A/ c& q2 h' k8 _2 G" K6 f! d
    1
    $ o. F, A5 f' [0 H8 b9 K' J2
    4 a# p$ a' i9 m9 x37 A& u% ?) X- G) k
    4
    ' ]8 }/ p+ P5 [; K5 I* E, U5" f$ D0 Z2 L8 B' K/ }7 z
    6
    6 n: l9 v6 s0 S+ z7
    . n' Z+ u4 u0 s; T1 p8  B* a# z0 R# T5 k3 p! o; c" R% E
    通过params携带参数字典) |$ b$ T+ u, Q8 |% J1 [& }/ r

    + C- ]& h3 w' z0 U: ?

    5 x) R) U% Q2 v0 {4 ?. X​ 1.构建请求参数字典
    ) b! b! F1 C# @* \+ h' Q% L# F( N4 ^- S& D

    3 u: `: q/ P7 p% m7 _​ 2.向接口发送请求的时候带上参数字典,参数字典设置给params: e3 E, c3 z5 t: A2 [' o- J+ ^

      }# `; b7 Z5 t; [' w
    1 n( u! w0 ]# H5 q8 a7 Y# j4 L4 I
    import requests
    / Y0 @2 y  g0 U$ f
    * g1 ^( k! b& F: q: {2 X

    ! f6 X) @  ~' T5 f/ v0 j  vheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
    5 c; a! O+ j1 h- N& X3 P$ g0 Z8 R. T3 K& ]3 T, _- d  S
    3 d; `0 F8 d! u5 T5 ^! S: v( L
    # 这是目标url5 l3 R( Z$ [" U4 h- w6 _
    # url = 'https://www.baidu.com/s?wd=python'
    " j2 Z1 ^% ~9 V6 x- K1 a' ]
    8 Y3 A: Y+ {+ M7 l- S
    / b6 {1 m7 ^4 `) D& C: B' O
    # 最后有没有问号结果都一样
    , V: e7 W  q+ E* t. ]( `4 `% Xurl = 'https://www.baidu.com/s?'
    , d$ A: l) `0 N7 b9 s- Z; P$ @1 k1 f/ _$ x
    : v1 t' d# e% V  f: f* s
    # 请求参数是一个字典 即wd=python& \# f. a0 o# c
    kw = {'wd': 'python'}
    , Z" k$ U5 ]8 u# r0 x% U6 C" s$ W# a4 z5 J/ ^
    ! H" J& g% X2 j5 J1 z7 Q3 r6 B8 N
    # 带上请求参数发起请求,获取响应6 X) K5 o5 G0 [3 e# b, N  c
    response = requests.get(url, headers=headers, params=kw)& ?4 G! j* p: [% D

    6 K4 _) {8 i- T+ ]

    , W% S& I* ~1 c7 jprint(response.content)) f6 Z3 ]5 q6 B6 W$ j1 }- y' B$ O8 {
    1/ Z+ A2 L! n) z- L3 b" {# H3 B4 ^  v
    2
    4 ]+ \# U' U" ~7 N" G1 l3
    4 p2 U2 l: R6 c8 ~6 m45 ]6 L* H1 h4 {
    5
      Q7 Z8 B2 J# {# p) K, k- ]69 K' t* n) V/ H( L4 R. Z
    7
    ' q  }, f2 r( o8 O' @8
    8 {9 \0 l6 l2 u7 h+ Z9 C93 U1 F% [# C. A
    10
    . g4 X2 ^- ?+ e0 \, {9 v% W0 B11
    + p+ p4 f- r, K/ g% F, }122 n6 n3 p) [% h) z$ c& i
    13
    ' |" o5 s) t/ A* v14
    ; u( @7 _; Q2 C15
    ! r6 m1 W4 g, b+ U. [: Q/ S: c16! M% l1 ^+ B/ W' z6 u
    17
    0 T" r3 ]9 D" y  g从浏览器中复制User-Agent和Cookie" w! z/ U9 E: d2 T4 j
    浏览器中的请求头字段和值与headers参数中必须一致
    & K5 X, p% L. A+ Z2 n( Y  j6 L- Rheaders请求参数字典中的Cookie键对应的值是字符串. v- Y+ Z8 O/ k: f8 c/ Z
    import requests) q4 T3 [+ V  S" m8 g7 H

    9 J  H/ c$ \$ Z$ M. o

    ' F5 }/ L4 a9 \: l5 m4 r+ f2 Wurl = 'https://github.com/USER_NAME'; N5 R  \+ H& j" w/ p' k/ [) ]
    * J) H' b5 W7 p0 g1 F& B
    9 g; @! ?. A$ d; z7 z6 r
    # 构造请求头字典6 I& {6 J4 ?1 F1 E
    headers = {7 @6 J. {3 c! H
        # 从浏览器中复制过来的User-Agent. q5 G8 w( a0 J$ `
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36',* _) m" j& E! G$ G
        # 从浏览器中复制过来的Cookie
    9 B6 P! S/ W. g7 j4 `    'Cookie': 'xxx这里是复制过来的cookie字符串'! P+ _& d* W3 r5 y  N( p6 z4 B
    }; J$ p2 b3 Z8 d2 g% n; C

    " k8 g5 ^& ^: ^7 ^! f# F9 _
      Q8 O9 L; C' D! y2 D; ~. c
    # 请求头参数字典中携带cookie字符串" q4 k! u2 d1 s* y! }# C: k
    resp = requests.get(url, headers=headers)) g/ G  w* W, Z  Y( ?

    ! _+ A" [  `8 v! L

    ; |7 W! k3 S9 p5 C3 cprint(resp.text)8 {6 F) E1 [% L
    1# d; x# b+ U1 |8 u0 g) X7 C$ y
    2! _4 d" N3 k( I4 ~7 D" d$ a1 J
    3
      v+ C* p0 z5 y- F4
    1 X$ E8 z5 P* n7 ~! V  L  J5
    0 }# s2 z$ C6 |! N) ~6* ~5 L3 ]$ N! O9 C  P9 J
    7
    / P1 `5 Z5 L' o7 B8 @) k8
    4 Q0 U, t( r  b5 Y) H9& B  `; R& Y& P# W5 ]) Q  c$ D
    10, D0 T7 y. z/ t) ^, u% e1 ~
    11
    $ [# {5 |( ]) f4 J12
    4 g- L$ |; W- @+ j13
    & v) I( ^+ E+ d% ^6 X$ g4 I0 ]2 a14
    8 I, }+ k8 }3 K1 z. h1 X15
    3 O& }4 c. A2 p- O16
    " ?1 B: g4 K2 G) @超时参数timeout的使用
    # j, d/ C# C, `在平时网上冲浪的过程中,我们经常会遇到网络波动,这个时候,一个请求等了很久可能任然没有结果。: r! x3 c) g- T5 D5 u9 Y) p

    4 Z* @$ }, I$ ~
    ) x8 E3 i$ _( ?2 w/ d
    在爬虫中,一个请求很久没有结果,就会让整个项目的效率变得非常低,这个时候我们就需要对请求进行强制要求,让他必须在特定的时间内返回结果,否则就报错。  |" b" T4 @5 l. V& U% o
    + ^1 O4 O$ b# n9 [* J, w' ^5 n

    9 \. d2 p" ^4 V/ e超时参数timeout的使用方法
    ) ]8 t  E5 J( M1 H
    ! [4 ]( K: G# P! M
    7 q) u9 ]2 k0 m- F
    response = requests.get(url, timeout=3)
    8 k, c6 v) Y0 y, }5 }4 r! J' F
    1 r6 q2 Y4 |2 k& n2 s3 W6 Q$ j

    5 p( b( C0 t) ?& N3 r$ otimeout=3表示:发送请求后,3秒钟内返回响应,否则就抛出异常
    7 h/ Y6 H& \  e( u: |( u; k) Y, [; C' f# c; v9 X+ G; P7 n  c
    3 n3 J  b1 p1 t" i5 l
    import requests* b% x; b0 w# D0 Q2 a8 V
    9 l" A: _& U9 H1 j7 D
    ( u/ J* I/ i1 i/ u7 c
    8 G& v  e- P/ K( \/ X. T4 H

    : [! k: u( f# d' l" _url = 'https://twitter.com'
    8 }9 W  A; N" v! zresponse = requests.get(url, timeout=3)     # 设置超时时间5 ?9 N( M( E" _
    # y5 D, L$ t" U6 R" l2 f2 T( M
    & }3 Q. T. R. A7 u4 r/ E2 N
    1
    3 M8 i# Q2 M9 D% @2: \' L1 t5 Z' V, h, |) F: F
    3
    0 s. o# a- k/ r) L; [% D9 L46 J  T2 t2 H# g8 w  z3 u1 w
    57 a$ {" z9 Y& a' }. ?& |
    6
    2 _. h. b+ l/ K# k/ n# [requests发送post请求的方法9 F# o# U: i3 l1 J/ q
    response = requests.post(url, data)
    ) [8 t% u8 m' ~' B5 P0 u1 H3 {  D" n7 Y% r

    - F3 W% u7 W4 ^, `4 K% t) Idata参数接收一个字典
    0 `$ I% {6 k2 P! e. ^
    , ~/ Q: l4 w& d/ F$ G1 ~5 E

    ) `) s  b$ D% A8 X8 Y) X" nrequests模块发送post请求函数的其它参数和发送get请求的参数完全一致+ R4 u( b' H/ ~% z3 h+ J
    ) m. e' u: N2 Y$ g8 {
    ) ^! q& \" m: U
    BeautifulSoup" q4 i  \" S* C; ]1 I
    BeautifulSoup官方文档 https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/
    * j; H7 Y6 M2 e4 @7 P6 {2 m; `& n' h+ V) \
    8 X7 U) Y) p* k" b
    Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间., l7 A% R: m* d- w2 {7 v
    + M. [  \" v/ h4 c$ m+ d# }
    ' v: U9 k: Z: D- q- m. F
    ' G0 c) P: l2 h0 c
    ' u, D$ z' x( ^* Q0 c/ [( J  q
    9 T6 N9 V- z; S* W, g
    . J1 k! l: W; [8 ~& a
    文章目录
    3 |  Z9 Q$ M) H# srequests* K" {) t6 m" c5 F8 k; L) o' y7 _/ ]
    requests基础
    ! v0 v" Q) a% ?, M' ~: K' Drequests模块发送get请求$ c7 y; c+ w. Y( d0 Y
    response响应对象4 d  c( H1 r/ f; ~( v* I" ~
    response.text 和response.content的区别; u8 Y. q, M! T2 a9 G! e
    解决中文乱码
    ( ?$ A) D0 }/ j# Bresponse响应对象的其它常用属性或方法0 ]) e3 H% X, @' T7 U5 y0 Z
    requests实操+ Z& k+ P8 \5 Q/ k9 C1 r
    requests模块发送请求/ K; }" W1 s8 o. g. W2 N" n" M
    发送带参数的请求
    8 L5 ?( t, q) {3 G* W* u超时参数timeout的使用
    9 P" ]( R; a, o8 I8 B( n' m. O6 rrequests发送post请求的方法
    0 J0 y- g) }% L- z7 E' sBeautifulSoup
    6 l' k. ^9 F$ a" X) I) U常见解释器的优缺点  x# v1 m( @7 W3 k2 I) t$ I: R
    常用操作
    & q; ^  g9 V" w- S! W几个简单的浏览结构化数据的方法
    ; l! h! H8 p) J4 X! e从文档中找到所有的< a>标签的链接
      L) u4 l7 L0 D1 I3 ^7 l在文档中获取所有的文字内容
    " V$ i0 e' Y, ?: i3 X通过标签和属性获取# o1 m  N2 W$ D' }# _& w
    Name属性* C- N3 V4 V, r3 V
    多个属性! [( N- x$ y3 T& L) K$ a# v5 P
    多值属性0 }& E, d. J4 x
    可以遍历的字符串3 v. n% h/ A' r5 v2 i8 H) R1 S6 x
    注释及特殊字符串
    1 D/ z+ p1 A( Z7 Y遍历文档树
    & E. b1 X( w6 O2 _* P" _子节点' W/ T  @; }* X5 H
    find_all方法% S% s, z6 l1 y
    .contents和.children
    4 `9 U; ^( [5 Qselenium/ h& U7 W( x6 _6 T
    selenium介绍- e, R+ {  O0 N6 i: j4 z
    chrome浏览器的运行效果
    ' ], |2 Z* _( [4 y4 t! s% I' xphantomjs无界面浏览器的运行效果! \: I* O" ~; C2 T
    selenium的作用和工作原理" \7 G9 b* ~% H. D, L" w
    selenium的安装以及简单使用  L5 X+ |/ F- \/ Z  }
    selenium的简单使用
    2 D  P% s# z4 u: ^1 I$ slxml7 D5 }; B1 I0 u; ?+ G; p
    常见解释器的优缺点
    ; _# u# b% Y6 Y4 q) \5 p$ o: {1 D# O4 a+ S5 h1 d
    0 c; s" R) W; H

    6 H$ a8 n, d0 M" {# O" I
    0 k/ E2 [4 J2 [% t9 Q! S4 T
    常用操作
    1 I- O- ~0 L8 O8 R0 I4 @  ]安装方法
    1 H0 y0 Q" U% H5 [) [  A! P) S; T& S- P- z! Y. B& r8 Q) |$ ?) ~, H  u1 ^
    3 m/ v6 j3 M, ^( u' i3 p6 P6 X
    pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple beautifulsoup4  ! i% c- o* Z, t: \' O4 {
    1+ A' A4 z6 K" D4 ?  I
    导入即可- r2 l2 i5 f3 R$ B* f
    4 i: [) H, l3 @: {2 O3 A
    4 N4 l7 V, a! j
    from bs4 import BeautifulSoup: ~9 g* g1 f2 Q; W* _
    14 b/ B8 Q' N" |8 h+ Y; N6 a
    html_doc = """
    * O1 m& C4 M) \8 B<html><head><title>The Dormouse's story</title></head>
    0 B# p3 c3 e1 r5 C<body>
    + ]! [7 V' L& r3 P5 q; B<p class="title"><b>The Dormouse's story</b></p>3 |+ Q% C$ G( m

    ' u5 A; f- @  J5 _* k, n

    7 [" ]6 T. p  ~) a<p class="story">Once upon a time there were three little sisters; and their names were
    : P+ M# G) a. r9 C* w3 Q  V<a  class="sister" id="link1">Elsie</a>,
    4 p# d9 e, W" s; e& N<a  class="sister" id="link2">Lacie</a> and0 v3 p$ g4 V. J4 y
    <a  class="sister" id="link3">Tillie</a>;
    ! G/ @0 C+ |; a+ m# F' Fand they lived at the bottom of a well.</p>) ?5 w* V1 ?; ?3 `' r
    - c' h7 x# \. {5 ^. P2 g- f( k" f: J
    6 m  |6 E* L4 v' ]
    <p class="story">...</p>
    ) \6 i3 W6 Y- h" X; n( s"""
    1 M, }* A0 S! h  @$ g16 j% v. [) c# g$ L0 ]% E
    21 ]2 E* R/ w" J4 O4 I! H
    3( R0 U  F' D0 X$ p0 P+ e: }' f: k1 o; W
    4
    " q; a) o% K6 f/ t5 V  ?( `52 s0 ]# p, h) E$ g  y5 J
    65 t9 T5 X( m# `9 O" ]3 |. t
    7
    ! j) P! e+ Y. c. M/ X5 g- y8
    + N$ K/ ?5 p3 d) V" i5 l; `92 s8 \2 W" U$ n8 }, f; g$ q5 n
    10) F) U# Q- d" Q, b% K& Q% e& Z
    11( o8 R' x/ U+ M# `2 a
    12
    ' k2 W# Q# k! ^& a! K* p9 c13
    0 k9 k( K: v( Qsoup = BeautifulSoup(html_doc,"lxml")
    0 U/ e( c, A4 R7 _18 e( {* B' @+ ~' m' B
    几个简单的浏览结构化数据的方法+ V  |7 {/ X4 Y# c9 T
    soup.title3 h% \" N% ?" @8 }6 {
    17 l4 _' G" J" V% a7 {5 g6 X% T
    <title>The Dormouse's story</title>9 s( t  w2 t- j9 w2 U7 M4 C7 K0 W
    1; {9 y8 Q0 _( w) a4 i. o: L! {
    soup.title.name
    # I0 Z( y0 `' e/ Y  u0 o2 _1
    * `0 C) u; z) A* f+ N7 p'title'3 n5 {7 Z5 r: N: T9 I" g1 D
    1
    ( b- t2 B1 a4 c; a( D) l& ysoup.title.string3 I: [+ T; T9 q' ~3 ?$ b7 y' R
    1
    & O. t  j+ X* N"The Dormouse's story"
    / [: m) L* H& ~& X; \) o# `. z. O1
    ) M& J, Y; B; asoup.title.text
    - p0 }& L8 N. U" G1
    ; n0 r2 {5 l! ~, X5 _"The Dormouse's story"
    # j" C" E; \$ e8 S" ~1
    + N! @- P$ x$ F+ U/ rsoup.title.parent.name
    / d/ z6 A; f3 c  K5 S8 L5 K4 Y3 c; m1
    ! A9 V1 r6 m/ {, z3 t'head'
    8 g9 M2 q. f6 ]  b; r: l, I1
    7 y3 k( s6 B" S/ E  Tsoup.p8 `' c6 n: d  Q( r
    1
    + W  i8 |0 q, ]; L6 j<p class="title"><b>The Dormouse's story</b></p>
    & C7 [7 C( L% e4 w" u1
    2 }1 h0 j) h( j+ o& jsoup.p.name
    - G1 Y# r3 ~* t18 g3 A5 c. d  l
    'p'& i  b- w6 u9 U/ J# J' o4 [
    15 H3 h8 R- ]+ X* b. l) i3 n/ e
    soup.p["class"]
    5 U6 @' r1 w2 C) ]1# S/ T% j5 _: K; W
    ['title']; `% R3 Y- B1 m( o. E/ @" v: S5 C
    1
    8 T1 r" K  [; X7 D7 Asoup.a* K* Z% N* \2 M. {1 u6 e
    1
    / ]4 N& s( g% F1 S, m2 N+ e  [<a class="sister"  id="link1">Elsie</a>3 L# B& [) R. f
    1
    * S  O7 j( j: o+ B3 o2 g3 f4 nsoup.find("a")6 x+ }% H) u& d
    1
    & y+ H" b; _2 l9 g6 S5 E9 H+ B  [<a class="sister"  id="link1">Elsie</a>
    8 f1 [& I- S8 i4 ]1
    6 B, u& d# m. [, |8 C- Ksoup.find_all("a")
    6 s% M% d- K6 K  X" p1# D) y9 X$ I2 G% u, A0 {. C3 A- i
    [<a class="sister"  id="link1">Elsie</a>,
    % E% g; p: w3 \& O. J( t3 k& \ <a class="sister"  id="link2">Lacie</a>,
      K- q- p" C: X. U <a class="sister"  id="link3">Tillie</a>], q' K2 V9 o% K* x! y. f
    1' v8 y; |3 g3 v
    2: M# G2 T" g8 h, D% y
    3
    . E) o  {! G# w, r. q从文档中找到所有的< a>标签的链接- T; r  n8 ~8 k, Q( n, g" N
    for link in soup.find_all("a"):; W% l9 U, R  M
        print(link.get("href"))/ C) j" P8 C# ~( g3 e) L
    1% x5 b( P3 Q# v" L' F+ N7 B
    2
    ! A2 g2 z# ~5 L8 Whttp://example.com/elsie
    ( p* U6 y1 F3 ?http://example.com/lacie
    - p( U* P; s# ~% z+ c7 k9 zhttp://example.com/tillie8 n6 M' E1 g1 h% b8 ~" p
    1
    4 S- o+ X! Q$ d, O4 F) t* x2
    - ?& l* u3 u" }; `: Z3' r& E# s1 I; v
    在文档中获取所有的文字内容9 B% X/ g/ L. ~
    print(soup.get_text())" F- E5 N; X# N1 k5 Q2 u
    1! L5 F6 g+ y7 e7 F8 @8 |. {# K
    The Dormouse's story0 _# I/ O: x) q/ a

    & R9 z$ o4 b- I$ U3 ~
      d, x  ]8 d+ d; F! Y- f9 n: ~5 S
    The Dormouse's story, b  `3 u* ?3 ?9 W  i1 g5 I, d
    Once upon a time there were three little sisters; and their names were
    . ]5 ^& `; |0 x- FElsie,- q3 J" S8 L( T8 N" R0 W( Z5 K
    Lacie and/ P6 ~% M5 V& Q+ s
    Tillie;0 I9 f8 \  ]& {
    and they lived at the bottom of a well.9 r( ^, N. c0 X
    ...' v) F  d! g  Y& \9 [( e
    1* T0 t+ b2 C/ }" @% k$ z* r: u
    2
    9 n  c# T1 N$ T0 t2 N2 o3+ I% s) \, _7 J) f
    4
    / |' y% [  p- d. v( |# L5. j0 n# T/ t- n7 ^
    6  M# g) i' z+ w
    7
    ) D* `& P  |; {8
    - U; [' g  q# H$ L6 m5 Q) y9
    : F* ^6 |5 t7 \: y2 O
    ( ^: a4 s( q" g: j# h2 N% f7 w  e9 p; d
    5 V, ~2 A6 V4 F* x
    通过标签和属性获取7 Z9 w% h5 A: F: h/ @
    Tag有很多方法和属性,在 遍历文档树 和 搜索文档树 中有详细解释.现在介绍一下tag中最重要的属性: name和attributes6 x& u. Q- Z; U; |
    soup = BeautifulSoup('<b class="boldest">Extremely bold</b>')1 G0 _# r+ @, F' y
    tag  = soup.b/ s6 A  d" j: \; E- E( F+ N1 h3 ]
    tag+ m, T* \/ E  v( D" b
    1
    # W$ \% n6 z4 O6 i& ?, B2) d1 @6 l6 `. F# T  R- l. G
    3
    * ~; r( {, E( z<b class="boldest">Extremely bold</b>. ^% N: A4 `/ A! O1 ], n
    1: m% c5 y8 o$ x; Y) P
    type(tag)* v+ S" L. ?% |5 e2 N
    1% [5 H0 s4 M; q6 k* u* k# V
    bs4.element.Tag. w  U4 T6 X* h9 z+ `) x4 x7 U2 ?
    1
    8 V: ?# G3 X4 U! g* p( n. ~Name属性: l4 c2 i" }  A
    每个tag都有自己的名字,通过 .name 来获取:
    # K) B; {% J! h6 _; p) r2 o) s0 Ctag.name, ?2 A/ X# ^7 ~( n  Y
    1
    ) Y% _% X$ h  D'b'& S  C4 i3 Z, X3 @' i9 ^
    11 r; ?, {& v+ O1 G, A1 ~( b- v6 n
    如果改变了tag的name,那将影响所有通过当前Beautiful Soup对象生成的HTML文档
    " G5 T2 a" O) W7 `- Gtag.name = "blockquote"  K7 m9 r! \4 {  C
    tag
    " c7 g: E, r1 e- k" C# V- @' l11 r" g% w. Z. q6 z: f4 |5 a
    2
    * I# R* e* ]! [3 n, k; ?) g<blockquote class="boldest">Extremely bold</blockquote>
    + l, m3 z% }& y1 J) W1 a9 W0 R6 n0 ^1 ^1
    + ^  |* M+ {% v多个属性% W; ^1 Y4 P/ ]( \7 }, B: P
    一个tag可能有很多个属性.tag 有一个 “class” 的属性,值为 “boldest” . tag的属性的操作方法与字典相同:. L% ^& T: {# r2 h' l+ O
    tag["class"]
    3 w6 \# q- B6 P1  W' {  \. e) g# N" j  S$ B% s
    ['boldest']- H: E; x' J0 ]9 ?/ s& m& j9 W9 a
    1( U# N* M; _  Q% p: f! f; _  d
    tag.attrs& h* Z1 ?8 [$ E' y
    1
    7 i* _& q) A8 f" p# ~: ?& Q! |{'class': ['boldest']}$ g) S8 z! f- w4 @5 H3 C
    12 ^" l5 K% V. L. }2 Y+ o' V
    tag的属性可以被添加,删除或修改. 再说一次, tag的属性操作方法与字典一样
    / T" i7 [" |! u$ t% Ntag["class"] = "verybold"
    1 D9 I2 u& P5 t6 H5 Ptag["id"] = 16 G4 a. }* H  v+ U8 l. u
    tag
    : m8 R5 I! k4 N* ^14 H) a8 E8 k0 ?) f2 G) M
    2
    3 [, a$ t9 c3 ]; A$ c3
    % X) w# b4 B, g9 @. j0 B<blockquote class="verybold" id="1">Extremely bold</blockquote>
    & l7 v2 _, c9 B% a4 O! {1! |' K9 U1 h9 y/ B7 w
    del tag["class"]8 @4 ~9 y0 R0 ]! O! Q0 r
    tag1 p4 Q& G) q6 ^" p% n, G/ Q9 ^2 m: @
    1
    & V' n" K8 Q1 s5 S; c2
    6 [% A7 W  U, b; W9 k8 e+ x2 Q<blockquote id="1">Extremely bold</blockquote>) r- t, }5 s9 m/ o* X0 C/ g" `
    1
    % ^' n) |1 f1 a2 a0 h多值属性
    + {0 ^+ y% K9 Z7 b, Y7 r) R2 `css_soup = BeautifulSoup('<p class="body strikeout"></p>')
    & _( p0 p7 y, I& q  o; [css_soup.p['class']9 ]7 ]' r3 `& I" n6 R
    1
    5 D) p' w+ ^4 ~" t( p2" V. D5 R3 j0 t/ Q
    ['body', 'strikeout']
    ( Y) N* t4 {) h" v1
    4 R" h; ~% [. p3 y+ |. Hcss_soup = BeautifulSoup('<p class="body"></p>')
    ! Q' F4 F, {- C% M- B; a( [css_soup.p['class']
      _2 o: s" f. F1
    5 b% x# F, D3 c/ J0 g2( J  Y0 _# H  a) F/ P* s7 E+ r
    ['body']
    " I; L9 I3 Q5 L6 q8 x16 D" x9 [. P- y0 L
    可以遍历的字符串2 A* n( {. a& y6 \$ S9 [% U. A3 Q! A' h
    字符串常被包含在tag内.Beautiful Soup用 NavigableString 类来包装tag中的字符串:
      T/ s- P3 n1 ?! p9 ^; G; H9 Ftag.string% L: W9 r! }6 {
    14 Y) r6 }  M/ T/ }+ [
    'Extremely bold': z# L1 |( A% u( Z3 B
    1
    * F6 [7 l4 l' O+ I1 ]1 Mtype(tag.string)$ G6 \# _2 Z! j4 c  v* T( i
    14 _1 R# Z# e$ l. R+ e* e7 l) W
    bs4.element.NavigableString
    6 n" |, s! e* F7 F1
    3 ]) @% S6 {2 u! ?6 F1 ^一个 NavigableString 字符串与Python中的Unicode字符串相同,
    # ]1 w2 a5 a1 r9 y% x1 ]并且还支持包含在遍历文档树 和 搜索文档树 中的一些特性.
    & N( J2 @0 p0 B通过 unicode() 方法可以直接将 NavigableString 对象转换成Unicode字符串:
    8 x' s# b& _2 I6 C: a! o
    ( d0 l- N+ @% J$ }7 R" E% m+ {
    / T; b+ U- A! [1 h5 F9 N  S/ \
    tag中包含的字符串不能编辑,但是可以被替换成其他的字符串,用replace_with()方法
    1 a& d! p, `& K. E) T
    % H. h( k2 v4 M4 {; ^0 G

    $ e3 Q5 L& e, k4 Ltag.string.replace_with("No longer bold")
    8 l* L: N' q# j) vtag
    ! h6 {/ Z0 N3 f3 _3 v  A3 @8 A" }/ B1
    8 d. a7 ^$ O9 B20 [+ `- u* }# u" h4 A  c# ]- b) o
    <blockquote id="1">No longer bold</blockquote># }( [" G4 ^  O+ @
    1$ S( U# |& C% s/ M, z
    注释及特殊字符串
      b9 {8 |5 t  i. n7 W/ S# O文档的注释部分
    7 e2 k# Z) P7 K  m  ~7 ?8 @; h' j, ~markup = "<b><!--Hey, buddy. Want to buy a used parser?--></b>"" ?+ U" G) W, \
    soup = BeautifulSoup(markup)
    4 a: e, y& d" [" E; Q- X' r) }comment = soup.b.string
    2 b6 V, F% R% s: |# u  N% V; A2 _comment
    , c+ t" c7 J# r4 M3 t1' N1 y! A. o: R( h0 X) \9 I. k6 G% ^
    29 |" ~8 t; U: Y( Y9 r6 i& |3 m
    35 Y3 Z, s* L9 {4 R3 L- S- K
    48 w7 D8 ?6 Q: }$ [# K. T
    'Hey, buddy. Want to buy a used parser?'
    * Y- ~: N9 J! S9 }2 e1$ {' p- d  \* y# a# I0 J) ?
    type(comment)4 G: x  O! f' I: i3 X' _9 p# f* q9 c( r
    1
    1 g1 R/ J4 y% q' I; ^; S5 [( xbs4.element.Comment6 x7 t% A9 O0 z
    1
    ! q& x/ u+ B( \Comment 对象是一个特殊类型的 NavigableString 对象:
    & ?( U& d9 ]$ F" a' r* o, I9 l& z! Tcomment# R8 N4 I1 t6 Y4 k7 \6 Z. h
    1
    - M3 }* A' o' N7 u'Hey, buddy. Want to buy a used parser?'
    2 Y/ W0 |+ p" B2 n1; _  v& n9 I/ \' Y+ p$ ?
    但是当它出现在HTML文档中时, Comment 对象会使用特殊的格式输出:
    . u% m* [! g/ P8 d; _. X7 d% y' ?' n. m1 t# u- h5 {- p4 `& _
    6 n$ v; Y5 J* r& i
    print(soup.prettify()), m" h; v3 k+ {
    1
    * f) Z) c1 s3 c& U; {2 {( k<html>' z% h/ e/ P; e
    <body>& l% b3 ]$ {) R4 I% U4 ~2 Y- ^
      <b>
    ! N" Z/ n, v/ [  o   <!--Hey, buddy. Want to buy a used parser?-->
    9 N% K8 b1 Q) u' Q7 Q6 o# O  </b>" h4 S7 ^' `" A
    </body>7 G( ]8 ]) ]& @# V
    </html>
    , f& |4 ]1 }" Y" {  x( Q1
    . c7 L8 \. [  V' E2
    5 J" g: L% y5 q$ \' b+ k3
    2 q- a8 m  b4 d+ S7 |4* ^  ]! J; _) Q) T/ ~: J0 @
    5
    ) I, K4 f# x! M3 W9 e) C6% d2 e6 d2 p* [
    7
    * S" w& ], C9 X4 {( bfrom bs4 import CData; d! D# m5 Q3 p! y6 y( Y8 I
    cdata = CData("A CDATA block")
    9 o% o' R2 z( z- J" Tcomment.replace_with(cdata)
    ( y, b6 [/ x  Q) H) }9 bprint(soup.b.prettify())
    ; j# R9 l6 v( S9 X1
      B2 W# J2 w' c) Q- K6 N2
    " F3 U# T6 L! s5 g" I. C3* D+ Q3 J- I" G0 V1 I
    4: |6 [4 M" p8 u& b' L& L
    <b># S" W" s3 d; C
    <![CDATA[A CDATA block]]>  i* r: I& L) e' B# U
    </b>8 ^3 M* m! `+ l, Z6 }# Y8 M. c! g/ M4 y
    1
    . p$ k- A0 U, w3 ~2
    ; z' u, s; f" u; i3
    / P- V' g. p+ p) v4 K遍历文档树
    4 p2 T+ w9 I% b% U; jhtml_doc = """
    ; Y. m6 s' A0 Z<html><head><title>The Dormouse's story</title></head>1 ?! Z( Y7 K; F1 l. }
        <body>$ L+ c- K! t. a* C* ?( T
    <p class="title"><b>The Dormouse's story</b></p>
    ( h% Y$ W! {/ u! G* _
    : U. B) }3 k$ L. u, d

    / z& n0 B! j& {8 ^3 W4 Z<p class="story">Once upon a time there were three little sisters; and their names were4 J& o, r/ V3 X0 X
    <a  class="sister" id="link1">Elsie</a>,
    8 M9 J7 p) X" b( u  n2 w& r4 p<a  class="sister" id="link2">Lacie</a> and
    ( h! e& r1 O9 H' E- q# D0 R<a  class="sister" id="link3">Tillie</a>;( T6 y" ]+ z% _/ d& q; @, P! E
    and they lived at the bottom of a well.</p>( b4 N/ x( O1 y& |  h3 O& b

    & B& G' o8 j3 z2 F& ^
    , a+ M7 M" J8 Y- ]( I5 i- ~2 g
    <p class="story">...</p>
      X1 F" `1 t3 D+ l6 C8 V"""% E! v. m# u5 y$ X, X
    1+ N) t1 D. Q. o
    2
    0 n: \+ C+ }& [9 T" {# Z( M# J( e30 Y4 C4 Y! C$ {3 f! H, j3 @
    4% \8 b. E0 D7 `$ ^- l8 @
    56 @2 P, X! f+ v% ]& u1 g( ~
    6
    # `( P8 g3 M7 M75 |) m$ h3 g- w
    8
      `' ^2 g% X. R4 ]1 D3 h9
    " g5 v8 @  X. z1 w10! j- C0 m$ b5 B$ X
    11
    # H4 N0 ^5 }8 E12- G: w5 _% A; f" y8 `
    13
    2 g' \  E& h3 W$ v3 h# Ifrom bs4 import BeautifulSoup* U  Y/ [: i8 X& J1 W, r$ m
    1
    / k/ U. y  @. H) u: W$ S# m! l4 gsoup = BeautifulSoup(html_doc,"html.parser")1 e( ^4 {0 n! F) j! o, T) @, g
    14 Y4 r+ s7 ?) \  I  u9 Q
    子节点
    : U. B7 i- |$ F一个Tag可能包含多个字符串或其它的Tag,这些都是这个Tag的子节点.Beautiful Soup提供了许多操作和遍历子节点的属性.2 N7 F# }6 l& p( ^+ i

    6 [, c1 c& j) k1 W' p2 Y
    / t. P8 ]/ u; m( g
    soup.head, K( M# M* z! r/ J& Y
    1
    4 R. n# o! n  Z$ Y& o/ E5 B<head><title>The Dormouse's story</title></head># D5 U. q! {% X. s
    1
    3 z' K; {  s  E' Psoup.title
    # ~9 K3 {3 F6 j# n! f* k1
    6 g: r+ P7 k# @& J" J0 {! G/ D<title>The Dormouse's story</title>7 i! @+ z0 B% h* G* b8 w( r
    1
    ) K. _& d) d" _# F这是个获取tag的小窍门,可以在文档树的tag中多次调用这个方法.下面的代码可以获取标签中的第一个标签:
    8 x: t2 x" G4 e# J( Q. O* u& [
    ( x2 d. k' ^/ u
    6 h  }) p1 i' W- u5 l" }
    soup.body.b
    " O+ A6 g) _! J5 Z/ v& k% L3 K1; X. Z0 {7 U4 \1 ?' s
    <b>The Dormouse's story</b>
    9 t- T1 D! z/ E/ \3 X; ]16 }1 E1 k* }# a' p: |
    通过点取属性的方式只能获得当前名字的第一个tag:2 f8 E, n; k# c$ h) x* d' ]

    6 x+ H4 H. Y: [5 ?" `
      @% f7 F, Z6 P7 X  {. A$ ?- h
    soup.a
      S$ I: E, I$ N1" ~# ]$ M2 t- o' V: j
    <a class="sister"  id="link1">Elsie</a>4 {7 E# p0 O0 T& e% s
    1
    % h+ P: N$ ]( dfind_all方法* {, {1 l1 y6 v
    如果想要得到所有的标签,或是通过名字得到比一个tag更多的内容的时候,就需要用到 Searching the tree 中描述的方法,比如: find_all()
    2 N* ?6 |4 m6 `& m# n4 w+ V  i" @0 a- G/ V& f9 `9 l+ U

    ! Q( C  @$ t. D% q$ S% @( }8 s9 msoup.find_all("a")# P2 T! [3 i" l
    1
    ! o3 `! {9 n( l2 w, }[<a class="sister"  id="link1">Elsie</a>,4 y7 ?. w  g5 h2 U* C- ~5 n
    <a class="sister"  id="link2">Lacie</a>,
    ! U& J! i1 F9 g( F( C  I1 N! \4 ?7 U <a class="sister"  id="link3">Tillie</a>]  w8 r9 h2 [  h/ f! A9 W! G& P
    1
    $ ?  [  ~/ N! ^$ l$ K3 @22 @! T! @9 R7 D. Y
    3
    # R( r2 _3 l* ]/ \* j9 n.contents和.children/ ^. w% c( Z+ S7 R  B
    head_tag = soup.head
    # |) o: B2 A: q9 D9 `head_tag
    2 Z% b7 q: G& K" ^1! Q% o+ ?- \. z' C
    2
    % n; H. G) J* ]! r' Z<head><title>The Dormouse's story</title></head>
    ( O3 u0 }  ?; K; q6 M1  [! \( T; k$ {  K5 X) @, H" B1 L9 r9 r
    head_tag.contents* }" X. _# O! V
    11 W* v' J' J3 v0 `
    [<title>The Dormouse's story</title>]
    1 C* C& _9 z/ x1 b+ g1
    / q% K+ H9 W3 W6 g9 @head_tag.contents[0]
    4 H5 z3 |* A" h& x1. V( X5 p. r, d' l
    <title>The Dormouse's story</title>+ g0 K# f: I" _4 S
    1  ]# E& L. R* M" M- ]) @( _
    head_tag.contents[0].contents
    - g8 N! ~1 t7 L# k+ ^1
    ! T6 \; l8 S" Q* O" N["The Dormouse's story"]$ l" y7 Z! K$ T! c! ?
    10 \' G& U+ `. J* y1 w
    selenium
    9 f7 U3 N# Y' }6 h; t- e6 B
    . c1 t3 [8 \, o# U8 O( J
    - y$ J( ^1 G, Q, H

    + q1 l- ~# v# Y, {
    ( q. _) P$ ]' Q
    selenium官方文档 https://www.selenium.dev/selenium/docs/api/py/api.html
    3 u. D" G  R7 B6 \7 ?' e/ |6 b$ l) q
    ' x. ~2 h! s: K6 A& H9 G& W; N' J

    * {2 J# ^, G) n3 \: x1 W2 Y' qselenium介绍& m2 m5 f  V! K: T) o
    chrome浏览器的运行效果/ C% v9 v$ n7 L) }: n
    在下载好chromedriver以及安装好selenium模块后,执行下列代码并观察运行的过程+ c& ^: W' ]& m) ^9 p6 |

    1 c* z4 q0 v  S, D$ W/ Z% G

      n9 a6 d& M& wfrom selenium import webdriver
    5 [# N+ {8 ]  k: {; h1 l6 e
    . F4 u1 O7 R' r3 A: U$ j

    4 T+ l: @& z: W: l, Q6 V1 j# 如果driver没有添加到了环境变量,则需要将driver的绝对路径赋值给executable_path参数
    7 k# ?) m! q6 d% L8 G. m* _# driver = webdriver.Chrome(executable_path='/home/worker/Desktop/driver/chromedriver'), C0 \( \6 i$ u& c
    1 K/ K6 V' u' c5 T( r! |6 |

      g: c4 r" f) b  F0 \7 E# 如果driver添加了环境变量则不需要设置executable_path2 s; ~9 S" y% c7 L
    driver = webdriver.Chrome()4 H( y1 Z! a; x9 E
    ! H& [3 z' b% U4 a
    $ R1 {  D' ~% Q" J7 ^( a5 d/ }
    # 向一个url发起请求
    ) R* e. F" m  Gdriver.get("http://www.itcast.cn/")
    0 k5 a  _6 @# z- e/ z" W
    ) Q/ `- O0 L2 J7 G* F$ S
    . K6 q/ y' u5 k; C' \) y0 A% D
    # 把网页保存为图片,69版本以上的谷歌浏览器将无法使用截图功能+ M* l, W7 ?- Q6 P" }/ z
    # driver.save_screenshot("itcast.png")& l6 \$ H; Q1 r

    ; ?. I1 g1 i9 l" B

    4 U4 s+ H3 V8 D& S5 dprint(driver.title) # 打印页面的标题
    ) V' H3 [+ W; S/ U" N9 s
    # r! P8 p. g5 S: J, m5 D9 k. X$ h/ ^- v

    7 C: x5 B$ z( S4 Q2 E# 退出模拟浏览器
    8 u! p; l& |0 A; {/ O  \% E' Qdriver.quit() # 一定要退出!不退出会有残留进程!
    / E/ H. g' V$ Z2 t- P6 j10 Y% D6 T9 ~  v4 ?/ Z
    2
      z( h& \- E3 o# c3
    * l# T" n0 E0 |4
    1 V5 X3 _/ _& q$ X# ^4 ^5 I5  f5 L# o( a7 H- H3 b/ Y: n
    6
    - _$ h: R( D; W9 C1 K7; \1 e  B& F5 M: w6 l
    8
    5 l4 X6 c7 j) {) N+ I- i9' O, Q! _  m( [0 U) T0 o' a
    10
    % u, }9 `' s- k11
    5 h: d' @; F7 ~2 t0 u12& c# N, V& y; q. o% F( L
    13# G: e3 ~9 Q9 l" Y+ {
    14* Y: l; H5 o$ y' s0 s7 u
    15! {1 i$ G; F, l7 |
    161 p1 w6 B* L: w; F3 V
    17
    . ^* Z( v( v1 t! M% q0 V% B18
    2 u7 p4 X0 u, iphantomjs无界面浏览器的运行效果8 M$ Y: C' a3 L' ^0 ?6 c% p
    PhantomJS 是一个基于Webkit的“无界面”(headless)浏览器,它会把网站加载到内存并执行页面上的 JavaScript。下载地址:http://phantomjs.org/download.html+ W) m9 O3 T# c! z
    ' Z. q/ k4 b5 E

    / A; }$ O/ U* u. ^from selenium import webdriver 4 o% }/ u# F0 N, C6 a' y* c

    . J- }3 u+ \+ `% H, q8 u+ p

    % b' M0 _( x- H$ G8 E* L* \1 Y# 指定driver的绝对路径
    2 }, Z5 X2 i  i& a# J- z# _1 X+ Tdriver = webdriver.PhantomJS(executable_path='/home/worker/Desktop/driver/phantomjs') 0 X0 g  d2 F+ b0 t
    # driver = webdriver.Chrome(executable_path='/home/worker/Desktop/driver/chromedriver')
    2 T. \' ^5 B/ L+ b1 x! `' Z6 I1 y9 j$ U$ ^4 z0 v
    0 L, W, N/ d$ ~* K3 o/ H
    # 向一个url发起请求4 K; c3 Y( \1 B
    driver.get("http://www.itcast.cn/")2 ~5 X2 X2 P/ j3 p( r; f3 Q

    % u1 ?" w0 L' J" X

    ' \" d- h, n+ a2 ~4 }# 把网页保存为图片& D- b. s. u, y
    driver.save_screenshot("itcast.png")- ^7 f/ X- B4 w; m5 X  ^- [! h

    ' H: B! o3 I7 Q. b5 j
    6 ^1 [; v% y- |8 A/ j) a8 j
    # 退出模拟浏览器
    4 d' S0 _( L1 O1 q2 Z& j' U! |, l( Z& Cdriver.quit() # 一定要退出!不退出会有残留进程!
      x! {) }% R! d. N  d0 T  k1
    5 k, z2 g+ E: C- K; i23 s; J$ i% h, ?( i
    3
    / [) W/ R, h0 R7 w& U' g3 N4
    # t9 \; d6 B( @. G/ _6 c58 `+ Z& C8 f  X9 @$ _' n2 Z/ f
    6
    , z: u) }) F. t) y7 t. U9 V7  w; ]- ^% y5 m5 k$ }
    8
    4 U: |3 ~! }1 f9
    ! A6 |) `  U( [( C2 `, E4 V10
    " Z# U1 n% {, m11
    + n4 u; L/ ~+ H, W% t! M/ O! C12
    4 ]$ y3 L4 V* _0 @; @13. Y9 g8 X  U: V* v; }- p! r/ L
    14
    5 i- I2 g- X/ p! c无头浏览器与有头浏览器的使用场景- h  T9 U0 {* R" |8 X8 i8 Q4 A
    : a6 k& F: }8 Z% t; U' `( v: G0 P

    2 h9 _6 |* v2 m, m* s7 z通常在开发过程中我们需要查看运行过程中的各种情况所以通常使用有头浏览器, f" Y3 W& E% K6 j2 m+ o7 ~4 O3 h7 z( i
    在项目完成进行部署的时候,通常平台采用的系统都是服务器版的操作系统,服务器版的操作系统必须使用无头浏览器才能正常运行
    , H8 g& `: _; M0 a" ]selenium的作用和工作原理
    # X4 ^9 r* R" I4 D) I利用浏览器原生的API,封装成一套更加面向对象的Selenium WebDriver API,直接操作浏览器页面里的元素,甚至操作浏览器本身(截屏,窗口大小,启动,关闭,安装插件,配置证书之类的)
    " ~3 u0 \9 M2 ~1 o, E/ q8 L) R
    ( L/ c3 m5 y# j( k) u# G  }3 ~

    8 g# r  W3 T+ S/ `# u5 kselenium的安装以及简单使用
    2 p+ b* W7 m* C% ^% ~$ `以edge浏览器为例 参见这个blog哦,驱动chrome浏览器同理0 u; e( ?7 p3 \1 J
    selenium驱动edge浏览器% v$ n7 @- v( d+ c) }* e+ x6 j* Y( i

    - S  p) `% ], g0 @- J0 J

    8 m$ ^. a) [+ q( _% U  uchromedriver环境的配置) @; H# x% Q9 J8 U5 Y4 |
    windows环境下需要将 chromedriver.exe 所在的目录设置为path环境变量中的路径
    ' {6 [4 i' ~8 u) e& w1 hlinux/mac环境下,将 chromedriver 所在的目录设置到系统的PATH环境值中2 G0 t, m; V7 `$ D
    selenium的简单使用% z% \* V5 K6 d
    接下来我们就通过代码来模拟百度搜索
    7 b. N8 w0 m6 |$ j7 N# W# _( h9 w3 W7 |0 I9 ]3 E6 M' C
    , W0 r6 W  c% A
    import time9 N8 n- D5 }; |
    from selenium import webdriver
    $ T  J; u5 `' f4 `) N& [4 J2 j( r8 u( r2 Y

    ! w8 |/ @7 T4 M+ m" _# 通过指定chromedriver的路径来实例化driver对象,chromedriver放在当前目录。. ]7 v# T- z, ]6 R
    # driver = webdriver.Chrome(executable_path='./chromedriver')
    ' f+ E4 \& e! q, B# k# chromedriver已经添加环境变量
    $ V$ F4 x% n! y" t7 V6 j( ~, Ldriver = webdriver.Chrome()" S% j0 _5 Z2 t1 {# v' }( A" l
    2 D9 a9 F6 s1 o  ?
    3 Y/ Q2 f8 z' [+ _$ y
    # 控制浏览器访问url地址+ p- m* J1 `* {7 x2 G. [
    driver.get("https://www.baidu.com/")
    ) h. ?, V! I. G8 G( I) ]
    : i, b; w4 m, q6 @; P4 l2 n

    " U7 L1 w+ S. G% c! r# y# w% N# 在百度搜索框中搜索'python'( ?0 N/ c/ z# K$ x2 _1 ?& }% K; G6 S
    driver.find_element_by_id('kw').send_keys('python')) a  x$ j$ j: J
    # 点击'百度搜索'
    2 R3 d# G* P* P/ ^9 d3 c; P4 jdriver.find_element_by_id('su').click()! }2 W1 i5 ~# e3 n& I" C" F
    : _8 P: }: I$ P" G0 w; ~1 l- N4 Q
    % [7 B- x# x" g
    time.sleep(6)9 V; O/ Z9 H& z. D3 @
    # 退出浏览器- n( g; n) W( U6 H8 Z- ~/ J9 [2 Z, N# H3 r
    driver.quit()$ [% ]- U) j: h6 ^5 j  G
    1
    ; p3 W9 o8 W5 P" E( }; o% W' f7 y2& K0 ?: W3 `6 O. F; {3 @; J
    3
    9 R/ ?& w! @- }6 z4
    1 z7 y" ]8 ^  G4 w( Z+ d" G4 K5
    ! S& N) P4 ^. \9 z; ^% w$ u6
    ' x& D- d* Q. t+ k7" F9 c; [% V- f; m( U' l6 B/ ~! y, u* n
    8
    + p; n+ T1 M$ t  D) o: _9
    + w; J% v3 u0 R- M0 h7 t6 O+ @2 Z106 ]2 t9 R$ |/ V# \
    11
    ( @( v/ I$ T# _! p12
    ( p! F  D  \, @' H6 ?" G13! x$ Q- C# T: n1 O! [8 x
    14
    9 _$ x) J% [5 @2 q15
    ) t0 @- X* a7 m& A& p16
    % `$ E1 f& u1 h6 j# M7 f/ J17% F" n: f9 I2 y
    180 l% o" H  O& U; V9 h4 n5 {
    19( f  o# s' d& g6 n  C
    webdriver.Chrome(executable_path='./chromedriver')中executable参数指定的是下载好的chromedriver文件的路径
    ) H- @. W" _# c3 v7 ^) b2 Q. V8 Cdriver.find_element_by_id('kw').send_keys('python')定位id属性值是’kw’的标签,并向其中输入字符串’python’
    , g/ V& L8 m+ Edriver.find_element_by_id('su').click()定位id属性值是su的标签,并点击" @1 h$ b8 H9 s% i5 h* M
    click函数作用是:触发标签的js的click事件
    - f# J" R" {2 T& n7 {- o! z4 g值是’kw’的标签,并向其中输入字符串’python’: h; I) V- R& ~& i2 _1 M3 ?
    1 U2 ?0 N( ?& N2 F

    * Y# h1 I! \9 ^3 Y' a1 Hdriver.find_element_by_id('su').click()定位id属性值是su的标签,并点击
    5 C( O" [6 u9 y3 N2 V) Iclick函数作用是:触发标签的js的click事件
    / S7 {4 V/ W* C; {使用xpath来提取数据,爬取数据的简单语法。8 Z0 j$ \7 Y3 f
    ( @( H+ k( a, ]: u! w- h

    - h/ S; I6 z* Z2 ]( `4 d4 x( f' slxml3 e: S* i5 j7 O; `" h: [

    ; ?% a6 P8 @/ D6 G4 ^1 S' r: |

    5 U. @" k! A0 X* R( ^1 l" m
    & }' y( D& v+ o& g( X% ^4 g

    / w( Y% R6 K/ ]) O; I0 z5 I3 ]requests官方文档 https://lxml.de/2 _+ b( @, ~! H& a( I* S
    4 I+ P0 o- ?: z* ?" v
    5 u# o3 i2 B2 g
    pip install lxml5 n! U8 v5 d% L  |0 D
    17 A% S+ K- P- \6 _5 i3 c$ D
    导入模块, r- J) h) u" M" a& ?1 W+ Z
    from lxml import etree4 Z6 U. A) k  \2 A) U
    1
    3 f& n5 W! S" I$ o利用xpath获取text或者href内容
    7 d: N2 |4 k, j- e4 C7 e/li/a/@href 这样取的应该是href的内容
    4 y: s9 h9 A0 E, j3 b/li/a/text() 这样取得是text内容" E7 ?3 `  F2 J1 s* l
    1
    " f/ M$ L; `9 U8 K3 B' P2! k8 f$ Z( Z, A5 n6 `
    etree的使用
    ) N3 P  p8 t  [+ w9 dh=etree.HTML(response.text)#response.text是网页的源码! s: e4 K: a# R, E4 f: D7 K
    h.xpath('//img')  #寻找所有的img结点,- D9 C. F9 S/ q% |4 u  I4 m
    h.xpath('//div').xpath('.//img')#寻找所有div下的所有img结点( ~- a7 D' d' ]5 ?6 W3 J0 e
    16 B" t. M' S) K- m2 a$ r! l" C
    2. F! \' c' ~! U6 v% Z# c
    3
    1 z) @( ~1 C* R8 axpath的语法
    5 `- Z8 e9 N5 |, p% Z! i4 x6 Z: D3 I符号# R9 ]: S' w3 j0 j' n% ]; U0 D
    XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。0 B4 B% K& x% K/ Y  j

    ( T) B7 r# ~* I% M
    - p+ [2 _" H& \* L7 A
    表达式        描述
    - p# q- [6 Q# L; Z' v0 g; ~3 l/        从根节点选取9 \) \- f6 {! n4 [4 z: f5 @
    //        从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。
    6 M0 }; ]. u* i# _- s$ F9 m6 A9 O.        选取当前节点。2 O( b  o; ]# j" i; g
    . .        选取当前节点的父节点。
    * N# R3 P+ ?, M5 K) x# E@        选取属性。
    6 E9 X; O. X' r: U+ v" I0 M|        在两个中结点中选择
    4 }2 ^1 `* X4 [()        用()来包含|1 U! e( [& b6 R
    *        包含所有元素! _. s/ G% ^9 p
    not        取反# U9 O: m/ G2 ^9 b2 V" D4 Y( t. W9 ^
    实例" T% a4 M: a; e: j6 I4 R
    ( `( |" E3 L7 j

    % ?4 s# @: h+ {路径表达式        结果6 U2 M8 T5 t( A5 }, P
    bookstore        选取 bookstore 元素的所有子节点。$ e7 E) V5 s) F  P
    /bookstore        选取根元素 bookstore。注释:假如路径起始于正斜杠( / ),则此路径始终代表到某元素的绝对路径!
    3 s" S, f8 m: T: V: ?bookstore/book        选取属于 bookstore 的子元素的所有 book 元素。( ?3 z* L# n' m# B- g
    //book        选取所有 book 子元素,而不管它们在文档中的位置。
    ! Z& h0 D* Q: O! W. [" ybookstore//book        选择属于 bookstore 元素的后代的所有 book 元素,而不管它们位于 bookstore 之下的什么位置。- Y' ?) Z. G" `0 u2 H" H" L  d
    //@lang        选取名为 lang 的所有属性。, W% \5 W% i% g( c* V+ n# W6 q7 m4 z
    //*[@class]        选取带有class属性的所有元素
    8 f, e+ U; f& z% }: m2 P2 \' X//div[@*]        匹配任意属性的div元素
    & m( k' r' T5 E3 n& p. G//a[not(@class)]        匹配没有class属性的a元素
    6 x+ P5 f1 ~  w7 l( ^谓语- e; h9 r0 n  D( j, \! V1 Y. W
    带谓语的路径表达式
    $ P) n3 |' v8 F2 Z0 B% B8 P" d
    * F3 E7 B! }1 J- `3 O1 t

    ; _, A: Z1 |* `8 {) N路径表达式        结果
    9 e% x- p) y% _3 K/bookstore/book[1]        选取属于 bookstore 子元素的第一个 book 元素。
    : x3 h# ?& y4 ^/bookstore/book[last()]        选取属于 bookstore 子元素的最后一个 book 元素。% {* R/ g. D6 U; V
    /bookstore/book[last()-1]        选取属于 bookstore 子元素的倒数第二个 book 元素。9 J) @) h" T( p& u- j2 k& h- C
    /bookstore/book[position()< 3]        选取最前面的两个属于 bookstore 元素的子元素的 book 元素。! v7 D& ?$ o) i, `2 M: g; {% u
    //title[@lang]        选取所有拥有名为 lang 的属性的 title 元素。
    / x9 A3 t. c1 q/ S: t( D//title[@lang=‘eng’]        选取所有 title 元素,且这些元素拥有值为 eng 的 lang 属性。
    ! p# j! l$ J3 X8 A; o/bookstore/book[price>35.00]        选取 bookstore 元素的所有 book 元素,且其中的 price 元素的值须大于 35.00。7 \7 {/ l! s2 L) D3 Y8 p% r4 Z' f
    /bookstore/book[price>35.00]/title        选取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值须大于 35.00。
    / }! r6 `% k! g0 x; y! J1 L/ ?# X————————————————
    5 v& v4 Q$ Y/ o0 l" u+ t9 N版权声明:本文为CSDN博主「北山啦」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
    4 H' u8 l8 g& o1 s0 u& ?/ Q9 }0 q: l原文链接:https://blog.csdn.net/qq_45176548/article/details/118187068" k. {9 I* ]" ?
    % U6 {; Q2 M* l) q! b" R" d

    2 ?! o( z2 m) h
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信

    0

    主题

    10

    听众

    299

    积分

    升级  99.5%

  • TA的每日心情
    开心
    2023-10-14 10:28
  • 签到天数: 28 天

    [LV.4]偶尔看看III

    回复

    使用道具 举报

    0

    主题

    10

    听众

    299

    积分

    升级  99.5%

  • TA的每日心情
    开心
    2023-10-14 10:28
  • 签到天数: 28 天

    [LV.4]偶尔看看III

    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-7-27 15:06 , Processed in 0.451928 second(s), 60 queries .

    回顶部