- 在线时间
- 1630 小时
- 最后登录
- 2024-1-29
- 注册时间
- 2017-5-16
- 听众数
- 82
- 收听数
- 1
- 能力
- 120 分
- 体力
- 564458 点
- 威望
- 12 点
- 阅读权限
- 255
- 积分
- 174560
- 相册
- 1
- 日志
- 0
- 记录
- 0
- 帖子
- 5313
- 主题
- 5273
- 精华
- 3
- 分享
- 0
- 好友
- 163
TA的每日心情 | 开心 2021-8-11 17:59 |
|---|
签到天数: 17 天 [LV.4]偶尔看看III 网络挑战赛参赛者 网络挑战赛参赛者 - 自我介绍
- 本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。
 群组: 2018美赛大象算法课程 群组: 2018美赛护航培训课程 群组: 2019年 数学中国站长建 群组: 2019年数据分析师课程 群组: 2018年大象老师国赛优 |
( L2 u' r( m: U- ePython爬虫常用库总结" A( I: |. l) G7 M
文章目录7 ^, {2 `/ X6 C0 x' m2 k. S0 @
requests y2 x# W R5 [; T7 a; l4 \
requests基础
* E% [1 D& f6 W" yrequests模块发送get请求
. G, ~; E; P9 v! ~3 u, }response响应对象$ I7 W! u* h3 R8 e( y* I
response.text 和response.content的区别6 S3 h. V. U: p1 ?. V, L. J
解决中文乱码
$ E: v9 ~, C7 ?# D! Q1 Jresponse响应对象的其它常用属性或方法
i' g! ]1 m. u. S* ?) j# frequests实操
' w5 d& E: n8 crequests模块发送请求; [% K: [ L% B4 \
发送带参数的请求
' s3 J6 o' ~4 e1 a超时参数timeout的使用
* \7 Z8 e* \7 ]0 T w vrequests发送post请求的方法9 |$ `: |8 b2 T1 |; T Q" B
BeautifulSoup1 k( w. r; `: k
常见解释器的优缺点# T! j `: K; l
常用操作, Q& C% `) U c: S# Q
几个简单的浏览结构化数据的方法
" `! z! A2 k/ `! E! l1 q从文档中找到所有的< a>标签的链接
/ a* f' C( G# x在文档中获取所有的文字内容/ t9 f7 I. E8 c1 X1 B" \. ~/ {2 X
通过标签和属性获取
) O, b% n9 L- u. J4 O$ L1 aName属性. V3 d, V+ U* l. h' C/ \6 }
多个属性4 n: I: s" \5 s% e
多值属性7 l, O# B7 y+ m' g) }& X0 Y9 l
可以遍历的字符串
& c- H" Y0 ]* |( {1 o( R1 H注释及特殊字符串
b$ b7 k5 @1 p: k9 j遍历文档树
7 y/ z" B2 h' `' n子节点
9 y# e' V7 ^5 |$ @8 m' Bfind_all方法' ?* C% N2 A; O
.contents和.children. N- e( o% L* b1 z* c
selenium: c. i |; Y* q* X4 @
selenium介绍
7 M) v9 _$ j" A. r+ o: c/ M4 Hchrome浏览器的运行效果7 H& n" w2 y7 }( C+ b
phantomjs无界面浏览器的运行效果
5 Q: {& j! n- P' ~$ Aselenium的作用和工作原理
. B4 r. ~; D8 P0 `selenium的安装以及简单使用
' u6 l% x' L# ?* Oselenium的简单使用
& I r4 D- }1 Rlxml/ s; _) S# i1 U& E w
记得安装快速第三方库,Python经常需要安装第三方库,原始的下载速度很慢,使用国内的镜像就很快啦' K6 r, P+ B( d1 E
9 C0 x/ O. Y B' u5 m
) L8 v+ ?) d) y: X% ~- n3 }0 t
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple 包名
1 ]! F/ v6 M3 B2 I' V1 Y* j1( H- [/ i% Q i& U! J
快速下载模块 ^: c- G Z- h# `* C- z3 B$ T
2 c1 Z$ L# w; R( ?% M
4 i$ p- r! [5 d" D# o, y
官方网址:+ {0 O! u" g2 `! L' X* d# u @
7 |" I% C0 n) \( H, e, ]0 @( U$ M9 e
9 ^; k# U% Z7 H3 Z; U$ @Requests: 让 HTTP 服务人类
+ o8 s, a2 N* hBeautiful Soup 4.4.0 文档
( M7 K9 R/ _4 b- S% v4 W; J7 \2 HSelenium官网% R: _' g% j3 I1 U2 O, |& ~
lxml - XML and HTML with Python- M: B, K! ?# `! K! g6 l
requests2 G% }# L0 z/ K/ s% u! A# m0 d
requests官方文档 https://docs.python-requests.org/zh_CN/latest/
3 q! m: C8 H1 A! N. x$ w
9 D |/ g0 C4 Q
5 m1 \) M# F/ A. R9 |3 K8 |/ X+ t1 m" D; \
4 e z9 A: |( n6 c8 h; o- G- B9 S( G2 \3 W6 W$ B5 Z* R9 ~. Q7 @
; a" y) d% U* w$ y) d$ [% g$ P z; `
进行爬虫,首先要对网址进行请求,这个时候就要用刀我们的requests模块了。requests是python的一个HTTP客户端库,跟urllib,urllib2类似。与urllib,urllib2相比,requests模块语法更加简单。正如他的官网所说:
% c4 D7 [8 P. U& U" s& f( {2 \6 j
7 Q/ P& h# I8 P8 S y
0 ^1 r) v" R' ?5 {1 m; x `* V E3 r' O+ e4 J
requests模块介绍) N) q: ], V3 j [
% h; y/ Y& p7 G& M8 J H
0 q7 a0 |- ^: ^! f% c2 \6 r$ ~: I( k发送http请求,获取响应数据1 ?5 v' Y, \( S2 P- _6 @
# q! O( h9 f2 `3 h _: |1 `2 c0 q7 o2 y; z9 u) W
requests模块是一个第三方模块,需要在你的python(虚拟)环境中额外安装
6 u1 A$ |( x* t& y% Z. p! O
5 U2 \; T, m( Y& t( Y9 F5 p g- K+ ^! S. \, ^( {
pip/pip3 install requests. n$ ~7 _% N3 Z- c) N! X
* T# t- W, }' i7 y: \
, x6 {! x, e y( G8 @1 h4 F; Drequests基础
b2 A, k1 m. Q: k/ G2 `! [, ~requests模块发送get请求
! {; q( n) B5 d& B$ X* M* z#https://beishan.blog.csdn.net/3 s; ]) \; m0 Q8 b" i- W9 |5 N
import requests 3 K' |5 n9 m6 I/ C
# 目标url
! b: D# y( F# W, n' V/ D+ yurl = 'https://www.baidu.com' b+ c3 L6 o' k: q
# 向目标url发送get请求
1 H- @+ i6 s" kresponse = requests.get(url)! ~4 M; i5 P$ C U
# 打印响应内容. j" _. }9 a2 L, z6 I
print(response.text)) D' V6 A, c# O3 \' X6 h
12 t, c- w2 ?. _6 I. R$ d3 }3 Z
2# X' X6 h9 P9 o! D6 v
3' v' x* U& P. E1 ]1 O. I( `
4- D3 C. w4 B4 p- {8 }1 _3 o
54 i8 w* K- I( ~) n. ^9 K
6; W! k4 x; W0 H/ I( a7 j
7
% l9 W( o0 g: M' o4 K( h7 |8) N9 o; o8 u/ O) _# c% u1 `$ ]( O
response响应对象
& m" O# {) n, o+ n$ {. ~观察上边代码运行结果发现,有好多乱码;这是因为编解码使用的字符集不同早造成的;我们尝试使用下边的办法来解决中文乱码问题; |5 C# }0 L# I5 U4 F7 m
+ [8 {6 E0 [) N" x l, b
7 c$ {$ a7 H! d8 O$ O# X: _" R; @# Yimport requests
! e4 |$ [/ y# Hurl = 'https://www.baidu.com'
& X# d8 J# J/ c. R. T# 向目标url发送get请求
5 q+ O" a6 Q$ k# t' X1 D1 Dresponse = requests.get(url)4 b8 j7 J- X+ B# n; @6 ^
# 打印响应内容( [) K* f$ {) ?; S
# print(response.text)1 P1 j B5 O+ Z
print(response.content.decode()) # 注意这里!
0 W; ^1 d% Q& o+ o0 N1
+ B( {* c. h% v; @: U' F2
9 K C) x( ~1 y# g( f# o3
; B7 y+ J9 R* l Z7 r% y" [4# c2 ^* K* O4 b1 A
5
! i" ^9 }5 r2 \4 X3 N' |7 k6+ v' u. q) B& l" |- X
7! X/ F. o( A+ S5 L1 F4 K
response.text是requests模块按照chardet模块推测出的编码字符集进行解码的结果& o1 k, F' f y! }2 W3 H
网络传输的字符串都是bytes类型的,所以response.text = response.content.decode(‘推测出的编码字符集’)
# z! O' O# |% n6 O" m6 r$ A8 a我们可以在网页源码中搜索charset,尝试参考该编码字符集,注意存在不准确的情况; ?" {5 ~% A! R6 m+ u( M, N* f- L
response.text 和response.content的区别6 _$ C# W7 @ M7 M3 t% [
response.text
. g3 t9 z3 h+ l' m$ B% T类型:str
% x" o1 o7 Y5 ~7 d$ |3 N解码类型: requests模块自动根据HTTP 头部对响应的编码作出有根据的推测,推测的文本编码
* G: Y, ]/ a& \ x1 J8 @: Hresponse.content- R- I0 m, C1 \
类型:bytes7 @3 F' n. ?) h2 H3 _
解码类型: 没有指定
. p3 H9 g4 G, }2 |8 ^1 I解决中文乱码
. `7 ]- N5 l: d9 _通过对response.content进行decode,来解决中文乱码" q" Z* l/ }# z4 q
# r/ b2 w9 R+ ~2 B& c% r
; A `* A" w; W$ t
response.content.decode() 默认utf-85 D+ }4 a' X6 U
response.content.decode("GBK")
8 l1 F' D6 t% ^: m5 ]% z常见的编码字符集
+ j4 i; N; ~8 t) k, mutf-85 B0 U$ B9 `- U! ?" I
gbk+ E4 W( Q, `; P0 j+ `2 ?
gb2312
0 H9 ]1 u& r2 ]3 i/ qascii (读音:阿斯克码)
$ p. W6 l- S) P! |$ K# X) r- V& qiso-8859-1
4 } e2 M2 i$ }response响应对象的其它常用属性或方法( v) `3 Z0 Y) e4 _1 o0 g
#https://beishan.blog.csdn.net/
! L, L& P2 l6 v7 J9 h# 1.2.3-response其它常用属性0 K1 O, ?- f# i5 K
import requests) o- X3 x1 T. A
9 A# D2 s5 z- i( e3 b8 f
% S) i, H. P+ b! C# 目标url9 I7 M; a k0 T2 p X7 `( j
url = 'https://www.baidu.com'7 a$ E2 I' `# H7 L* A* g1 P' [
/ u0 V3 m8 q4 o" j' q2 [4 o7 b( y/ D0 o, j) x* ~8 y" a& h) e
# 向目标url发送get请求# s/ R. H8 j( Y
response = requests.get(url)
8 X, i4 l4 D8 q7 r- g* A+ a0 |9 h0 E7 r* L' B% }4 c0 T
# ]* L4 _8 E( C2 |
# 打印响应内容; l2 R2 a' ^/ J v$ `6 C
# print(response.text)
$ f- b- ~4 ~ t" h! @# print(response.content.decode()) # 注意这里!
4 `8 ^7 Z4 A' b3 O9 n/ \- gprint(response.url) # 打印响应的url
1 p; b: n1 K ?& k9 Mprint(response.status_code) # 打印响应的状态码
, E' w! y/ o1 n- i. gprint(response.request.headers) # 打印响应对象的请求头! @- V. u( @" Y% y |. D
print(response.headers) # 打印响应头; r) D3 W# \. k6 T' Z
print(response.request._cookies) # 打印请求携带的cookies
) t7 ^/ k: z6 j+ e. `, R5 Zprint(response.cookies) # 打印响应中携带的cookies
0 {% g. F3 z& N: S+ ^* e5 e# o! c1; C p1 e% } D, j. D; X
2
# E0 y4 f& o0 `, W& a1 |35 q' v7 {6 \! y8 j7 ]+ `6 D7 F
44 `3 ^2 y; p* ~4 P$ U d% b3 k
5
, Q( `* r8 `7 {5 v) F: L6& m; U$ D( A, p9 S
7
! j( |8 E# d- G9 w. Q/ ]. }4 }80 M, |0 C3 T$ s& F+ A2 q7 G4 G
9& m3 j7 M$ t8 J) s
10
9 z& j w! X3 @% J11) i/ D# X$ g# H3 T
12
8 I9 x7 m( I ~/ O) H13
# U5 z! E& F8 N& _6 Z14+ W5 P8 {) ^% p. P! y
155 v' Q, c/ F1 P0 d7 P& U- s
16( Z7 O( H4 S# o7 u6 X/ _8 u
17: j* b* Q& K& u/ b( L) |
180 ?8 s4 W2 [9 _ F( S, M0 N- E
19
6 y3 D8 c& d: ] ~/ Qrequests实操
/ _3 o0 X/ W5 u% Y2 N+ }* X0 ^requests模块发送请求+ }# t& P; Y8 z2 F7 ?% h+ u8 _
发送带header的请求+ U. U7 d8 J; Q$ y! x }% N
x% Y6 b( ~. }4 d5 x; L6 U0 t0 {8 a* [# r
我们先写一个获取百度首页的代码% v, g( M! d: v m6 {, b
! @5 H1 a5 q* ?7 o0 Q/ b
% L- S- L4 w2 P8 R( l# ~+ N" @ Wimport requests5 u; b. `* @' e, f7 n5 t
url = 'https://www.baidu.com'% A- M7 t+ J8 G) K. ?
response = requests.get(url): @) p0 A1 t( u7 J8 j- A% n* i
print(response.content.decode())
! }, p8 z8 Y- E! P' `& f( B# 打印响应对应请求的请求头信息+ S- O3 B# I# i6 m
print(response.request.headers)# r' S" K% ^2 g! ^$ `6 p
11 g4 c/ C) L$ `
2
* l" w# v5 T# F3
4 l& v u" ~- B( y0 t C2 z" \44 P3 [4 N4 h" d% \0 y/ V: Z; O
5
( ^9 M' J+ v1 R/ G1 U6
7 A. d/ u: W. I- e6 x v从浏览器中复制User-Agent,构造headers字典;完成下面的代码后,运行代码查看结果
9 z+ O; |" l9 A% w& l# m7 W8 b. g( N- d% }& @
n6 U; A; c8 s y. w/ l! fimport requests" [. V% i* E/ {/ Z9 _8 C
: g" B0 |6 L, s! l- M; B; _; D
+ {0 F0 a0 K( E2 p5 j5 J& p2 n# d; c( O
url = 'https://www.baidu.com'3 r9 F' X' Y+ E5 a
+ ^ L9 Z9 H. q/ [6 q& x! \2 `! n
$ W7 b- J7 g" x. Y, X5 h/ `" W
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}- L# o# R8 L0 Q, p" ]2 D) Z+ a
0 |7 Y& F, P0 ?6 _' m W, x, ?7 m7 Z3 s4 P# Z) h& g2 H8 @
# 在请求头中带上User-Agent,模拟浏览器发送请求4 c5 {# W* B" p+ Q! ~+ p
response = requests.get(url, headers=headers)
! {+ A. P, q* I. A- d2 S' H+ z$ B( O' Z; J! p' w' ]9 v
/ H+ s% G- d" w# R& W
print(response.content)4 G6 D" Z/ z& b# y ?: c
# N6 d) f3 K+ i$ ?8 C
/ |' n1 Y! c) i* r3 W
# 打印请求头信息
/ {2 [9 x# h" v. v4 T, Fprint(response.request.headers)
) h/ O1 h2 v* s2 W# n/ U0 Q& z1
1 z- {1 W2 g$ K% B! W2 a2
& u! j. c* j( |3! A; }' ?3 p8 R7 b* g& z
4- |1 ^2 v2 R: [ c
5( c9 |8 t0 Z+ q- m# c( e
6- Y @) \7 x" t3 J( _
7
6 G% j- {; j' |' l$ X+ Z, V* k( `8) \& x- t( B. c; h
9& {) }9 e0 `6 E8 ?6 y
10. {# u& @! G1 e) R6 s6 v
11
: o. ~# k+ w, F z: T7 q12
( B3 h" ^1 {6 ^5 g9 b2 b13- m( h* O3 n3 H# T3 X
发送带参数的请求
, _3 S# y, o# @' N( }我们在使用百度搜索的时候经常发现url地址中会有一个 ?,那么该问号后边的就是请求参数,又叫做查询字符串+ C* G! \% P+ E% Z& M$ U/ O
+ O! z4 Q1 ]$ @. K9 v2 D0 J. [5 b5 l! j. a/ V3 I
在url携带参数,直接对含有参数的url发起请求* F9 A) H1 O; v+ e
1 m7 l, q) g6 M; a9 j, }$ V
' ]8 X$ W# K; e+ X! ~9 j
import requests% p4 u! n2 s0 m3 E
7 S- s _2 M, f6 o) X- b1 J4 N
/ C) m( T% S7 Iheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
3 S/ @7 e! S, s4 q9 x; j( i+ `0 A6 H* B/ ?4 R
' o' S" D/ Y; R: Y+ ^url = 'https://www.baidu.com/s?wd=python'/ B( z" f" U J' C
3 x# a/ i" i, T2 p4 f# Q* N/ [8 S0 W& P4 h4 P5 }
response = requests.get(url, headers=headers)# N Z: m6 c* w5 \9 e
4 g& N4 U. j: E/ M* i0 f' @( G
7 s; N1 s+ D6 w
13 }. s K0 \; m
2
2 i5 \& `, z: s9 y. z0 ]. W% ]3
: P+ S/ F; s, w2 }2 A' U6 q; n4+ h! L0 g5 B! G. g- ]7 y' w0 N
5
* O. G' ]" p( P: _0 l# a" E6, J C; v: W4 ?2 _- n9 _- x
7
0 F: U0 z/ v6 ]" h8
% {' s- Z2 @5 z通过params携带参数字典* U# _, H7 y, h) ?/ D
, C- k8 z ^' _) W0 R2 u( K9 I& g
1.构建请求参数字典/ o$ c% b" C" `' n: m L, n
- Z7 Q1 G: K# A
; x7 s7 |2 ]% p2 `5 ], [2 J1 v
2.向接口发送请求的时候带上参数字典,参数字典设置给params0 H1 u4 [; I* c* {+ F$ d3 V- w
" b8 C x' G- \6 @. c; v. Q* x t4 W
. L" c& @7 \, d, D. Qimport requests, }, L" z; k5 ]3 k1 |6 |: \ ?9 k
9 `9 O' R7 B: z$ `! p z2 o
) f% F w# `7 I6 X1 [
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
8 F/ c# Q6 I: u6 R* m4 X$ V7 J6 `- z- C" [5 P
/ v6 o9 J+ C# [4 ~5 r5 v0 J( t# 这是目标url) Y( G, C- s2 e- G; N+ |
# url = 'https://www.baidu.com/s?wd=python'5 o( B o. C+ i* A+ ]- w2 u( X
7 Z7 Q. R( O, G- B
o# S8 [. q5 R1 k3 X9 ~# [* {, P p
# 最后有没有问号结果都一样8 B' Y! T6 j# @3 Q z+ f2 t0 f, j
url = 'https://www.baidu.com/s?'8 x* n# M! R% }$ b V% G) |
5 n6 N( i: I/ ]8 p {! G
. T- d" c4 f' V# Q) s: [1 i. y# 请求参数是一个字典 即wd=python4 Y; v+ s7 M5 P9 p% O3 Q
kw = {'wd': 'python'}5 g: I/ ?- G! Z# u) F9 v; c% C
" L! G3 d4 Y5 L( c0 t; u8 G, }# }& e6 v- Z" v/ @
# 带上请求参数发起请求,获取响应( C4 q! H8 b$ L* z" W4 U
response = requests.get(url, headers=headers, params=kw)& ~/ U& a! `) C* s* u
" r0 f* u# l/ Q* ~; `' `2 h' `; C) U9 U+ G2 d! j1 q/ Z
print(response.content)' m/ O! K: m, G9 n
18 z& X$ x# p3 n1 q. U
2
A, o2 H. P3 h* [+ O5 {31 d! x" Y$ }9 o: P' R$ d* u
4: ^# B8 A/ C' @' A5 E3 W9 [6 i& V @
5
* `' q0 }5 B% ~) I9 W6# c5 Y Y6 U! _0 r
7$ S. l3 Q: t- ^) s$ k
8
* w3 C: ?3 _8 \96 c# X7 m% z9 ]$ y0 G: b
10# O9 h2 Y# _' V! @* t- a& v1 a% |
11) }7 w2 g ]; B9 u( N3 X' X$ N
12: }% B7 ^9 H# r8 H
13% m, Z/ m. w6 ^ M& S; d& I+ {- @
14
) x7 s9 S. B2 ?15
E& E3 `) T1 f+ [. l7 P; y8 o; ^' n16
! P: V6 n2 a y' b17% E( l$ j% v+ |- J8 k6 N( v- z
从浏览器中复制User-Agent和Cookie$ M1 V* U3 p% }0 z
浏览器中的请求头字段和值与headers参数中必须一致8 S" o7 N3 y5 p" ?9 Y; k3 m
headers请求参数字典中的Cookie键对应的值是字符串
* d: I& b/ `* A2 C4 J( s# pimport requests
$ a- \4 |6 E- p) s. q$ o5 ~5 a3 b7 c- i) i' k6 ]- d
3 T5 u0 g! W' y }+ nurl = 'https://github.com/USER_NAME'
: v9 `3 O! o0 T" Q2 `* _0 Z) @4 z1 Q2 P2 c3 i
X) d; D! B0 C; i: \& h
# 构造请求头字典
& |. i$ E$ J. W4 C" ^8 }/ yheaders = {
6 W. [, [% ~3 ?1 n# V # 从浏览器中复制过来的User-Agent
) L( t( r w) Y3 U( ?1 g 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36',
; M, w1 v, `/ R5 B3 k" u0 C9 i # 从浏览器中复制过来的Cookie. Z. ~ N. M( V4 e& Q0 ]1 R
'Cookie': 'xxx这里是复制过来的cookie字符串'8 @+ a0 Q! a9 o! b
}% K* n5 _, B3 H7 e! s
( C' A6 n5 m# w2 i
4 Z1 A( k7 C3 n- u# 请求头参数字典中携带cookie字符串$ z7 h2 W2 K! m! [
resp = requests.get(url, headers=headers)! {+ l' o2 x3 R I1 ], p
2 O: y$ U/ Z# U R' x
" [% h2 T: U* nprint(resp.text), k' `, q% a( ] a# k; a9 r
17 c+ N$ Q: L+ L, k# I- a
2
9 h$ f& v- K& X37 s V- [+ E& h/ n, J( t
4/ z( R. u+ @3 O4 ^) n
5& U5 ?9 L; }2 E* [
6" J+ w2 `7 y" h+ Y9 N
7
8 u0 C0 x8 ~( q' R; i8$ G' @4 u4 _1 ^& h, s6 [4 Z; K2 j
9" x" L- I- P2 G z0 |
10
v0 m6 N9 Y/ x/ m6 f& i6 n1 e$ g11
# c6 `+ P7 R, h; y( J* p$ R12 `+ L' p" d/ e( p4 q
13
7 B6 ~2 k8 `. W% H3 U$ _; w& Z; l14
% n5 D2 ]( X% H) w2 K+ ^15
/ p, u/ w: S* ?% e16& M5 W. p2 V2 S3 \- p* m' ]
超时参数timeout的使用3 ` O; N) b( h/ ?, r
在平时网上冲浪的过程中,我们经常会遇到网络波动,这个时候,一个请求等了很久可能任然没有结果。
, o" A# Z3 h2 {8 n$ Z# q! J6 W* g
/ F' M/ _5 F: f4 R' v
9 h1 C( _( {# W8 ]9 t) \ S" S在爬虫中,一个请求很久没有结果,就会让整个项目的效率变得非常低,这个时候我们就需要对请求进行强制要求,让他必须在特定的时间内返回结果,否则就报错。
$ x7 d& j. q) }0 F1 v% E8 G: T, m9 X: ^2 V7 n
8 q5 ~* ]5 X8 N$ Y超时参数timeout的使用方法! i2 g7 @8 B* t8 a8 r0 V$ h
# b2 |6 |) z( m6 Y! d( u6 ]( i" B8 B2 A9 T d! H& H
response = requests.get(url, timeout=3)
. Q8 h9 h( D4 u# c8 T) j4 J/ T7 p
/ \. d( q0 N/ i9 ~5 M: Atimeout=3表示:发送请求后,3秒钟内返回响应,否则就抛出异常0 _* d1 d( ?! f1 i& L& _
! m* w+ r3 o" K. P0 g4 g" u9 U D2 P, g: m. w
import requests
1 w2 d0 \' ~7 ?/ c* ?; _; \6 u# w8 U9 F& M, Y
1 b- m$ A. o) F5 S
' R9 O5 X8 |8 h$ _: T3 l) P. \: u( J3 K
5 K9 r7 H" S( o" I; N1 t- purl = 'https://twitter.com'! F! W7 U: q7 S, h
response = requests.get(url, timeout=3) # 设置超时时间: Z9 b$ J2 w# @. c* f) H3 I: R
0 Z2 q2 Z! I; V0 |+ i6 [, Y J/ k$ c4 i' J' [
10 ], v: i% R6 |
2
7 S8 ~6 d9 E1 [ k1 o3
* L% a1 V0 {' {: W; C4# g) s% @+ i$ l; a- |7 X }3 X& w, U
5: p* V' v2 y, j$ w
6. z/ m# c' D% u% w) f1 N2 o; D d6 Q
requests发送post请求的方法9 V, Z" `: c& a r. L6 z
response = requests.post(url, data)
7 W# u3 A" k) l/ w- h6 m: K' F
1 B2 [) D+ u* _: a/ D+ e2 P
5 y5 F, N6 [- K) e$ U N: adata参数接收一个字典: j8 A6 X/ `3 t, H& [! V
7 l# M3 x% E+ Z6 G o3 q, v& h" }. { S$ H U0 k
requests模块发送post请求函数的其它参数和发送get请求的参数完全一致$ x, ^/ ]8 m( `; Y4 i/ o, G
A" l6 `% f; i2 _4 d! t
& k# ~* d! D5 G3 K6 ]9 T1 g. E; oBeautifulSoup, ?* U0 x+ V' C' \# | E
BeautifulSoup官方文档 https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/0 s- g$ p. b! W/ I- ?0 k
7 Y1 k6 I; f/ r
: |; y% r: F; z( E) [
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.
- N+ F* O) G4 d" ^2 x( {& t) T& r. i( L N' Z" Y$ u
$ h- Z2 a6 J8 e' X
; ?7 {, |# {+ P7 r& S* p" A; w; T
2 o# u/ _$ V4 _+ n. g R% h; l( g0 K, c! k
" o& B- @: G) F& x文章目录/ J$ l% H9 `1 ~$ C
requests
- w5 {: i( i B# R9 Q3 r' hrequests基础2 E+ J: @6 \3 e0 s, X. D; f% y
requests模块发送get请求( n0 t: N) S" @; c8 e
response响应对象; w5 f1 ?. A7 U# }8 q4 L
response.text 和response.content的区别: `) b+ w5 [4 [+ f
解决中文乱码0 v6 ]; S2 w( `8 {! m/ Z* ~! X& `& z2 n
response响应对象的其它常用属性或方法1 m% J; e! D$ G" ]
requests实操4 w) C; f0 t+ N" T1 P+ _: t
requests模块发送请求 S) m* K& r1 w4 i4 w1 E8 G- f
发送带参数的请求
' \. [! \" o4 E: r3 A超时参数timeout的使用2 j: L0 S4 n* o
requests发送post请求的方法' w) [8 n8 F7 N* P( q* g
BeautifulSoup' Z7 Y8 T9 O4 [' n! ~: r
常见解释器的优缺点* }9 O( F8 H4 w1 Y% S% D8 Y3 @
常用操作
' J3 c. A& S( q6 d' i$ ]$ L几个简单的浏览结构化数据的方法0 r: _3 u$ X; H0 N% @
从文档中找到所有的< a>标签的链接
1 {: j7 E9 R/ {8 l在文档中获取所有的文字内容
6 l! V8 ^- s. J7 n& ~+ G通过标签和属性获取
( m/ O& J# C- X+ s5 \0 |3 a, WName属性2 s0 ], V9 Z; |; L2 Z5 f4 x. ]8 c
多个属性
) g8 X# y. O( t }1 `多值属性1 L% I% [" [' q
可以遍历的字符串
0 I' M6 b: K* {. \注释及特殊字符串$ K" C# U( }6 x) `4 h. \
遍历文档树
. l. \- g+ C0 P8 b! X子节点! \' E3 L& \/ C6 U+ |; {
find_all方法
8 n! {, f2 ~& g6 C/ S# O* r! Z.contents和.children5 q* D- n! J; o# G: `5 F3 T- q
selenium/ S. M: ^# u6 C
selenium介绍
' I' Q- b t; N9 Mchrome浏览器的运行效果
6 k3 q* I# _( v6 l0 ^& vphantomjs无界面浏览器的运行效果3 ^, l. Q8 o9 W4 ?7 y# W: \
selenium的作用和工作原理; D0 x, s) t' V4 U* m- t, c/ ]* w
selenium的安装以及简单使用8 S5 h& h( E' P; Z
selenium的简单使用
/ i8 A f% d( A4 l7 N4 |* Alxml
- I/ @# x7 s- a% m+ W常见解释器的优缺点
; l; @& s/ }0 a* Z+ G6 W
, V( Q$ u+ i) N
/ s$ Z* P- v/ r9 G9 O
" l3 [& d2 Z3 U( h8 W1 Z7 a+ Y
常用操作7 G* U( c% b$ l+ P+ P
安装方法
0 T7 Q' c' G, T5 ] ^7 E9 m6 G6 n+ u6 X5 z( m
i4 ~) F: K2 T/ {3 ~pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple beautifulsoup4 * `5 M U# h! z: V4 o
1
8 V _% k( k& d. g; Q1 `& f导入即可( h% k, l) {) T. I* L2 h6 d* X! b
9 @; n6 P0 m# r' Y" f
! A2 B# G1 s# v" g+ W; M+ B6 `' y6 cfrom bs4 import BeautifulSoup) m5 q9 @" J$ h0 r( n& D5 E
1
$ m4 A/ P4 Q" b" |html_doc = """1 u% a! x. r8 }4 i0 r# W
<html><head><title>The Dormouse's story</title></head>* H# ~- k# K7 O: ~5 ^! n: a
<body>
" R1 X5 r! z) g8 J b, I i5 s. v- [- Y, j<p class="title"><b>The Dormouse's story</b></p>, l) a1 z* v- W9 i! l" W
# \0 e$ d! u2 Q+ Q
+ X0 D x* c q+ m
<p class="story">Once upon a time there were three little sisters; and their names were
+ p0 H( {! s$ F( {<a class="sister" id="link1">Elsie</a>, ?0 j' T# a2 w# }) B4 @1 g3 l
<a class="sister" id="link2">Lacie</a> and3 z) v4 C8 L, {) C8 v2 O
<a class="sister" id="link3">Tillie</a>;1 g s0 N2 j, \ K- @' C
and they lived at the bottom of a well.</p>
. w7 f* n8 c( y' J# a% [ ]9 U+ M9 y; ?# [/ n+ U# v
* `$ {! n* T7 Y<p class="story">...</p>
+ l% @9 K( @3 V"""4 H* I3 k4 [8 w& Q. ]9 T% ^
1
, b: G' Z$ p9 a7 ?% a ^% i3 v2
% `/ T S0 M# M; g, ?8 R+ F3( I! ~% K% I0 F( x) Q% ~2 ~
4
S+ v3 S( @, b: A1 |) ^" ?$ E5
7 [- \" f; ^9 ~' |4 R; `6
; F! ~) T. v+ N) E- U. o7
T- B# u* [" f+ @; i. V) N8
: B! k) k+ D, G$ z9
& @6 q- v/ x5 F. C! z6 Y10
?1 A9 a* K( o4 K11
! Y) ? z& s1 W- S) {2 k12* `, I1 {+ ]/ r9 D$ z% y' j
136 a, l r- o8 W. j p0 r3 l
soup = BeautifulSoup(html_doc,"lxml")9 u; d0 c8 B) K3 o u
1( _5 o& |0 `7 ^% G
几个简单的浏览结构化数据的方法$ ^% Y$ s S, r. @
soup.title
' { ]/ _% P" f) B4 o1
, }1 m% T K4 T" W: l0 S<title>The Dormouse's story</title>
$ H; s6 @1 V1 f3 b' B/ C2 o5 i1
# P: y+ f3 R# A+ Y. o4 j/ E5 jsoup.title.name+ {1 j/ a W2 o* V5 O1 F
17 c0 W+ y) q1 j$ j) W1 \/ ]5 l9 T5 o# q1 B
'title'1 m, U+ q* [5 G. x
16 A: l0 q3 ~& j$ f; n$ |% i
soup.title.string7 _5 M1 ?8 [9 `$ P
1& c% I, W, l. Z
"The Dormouse's story"( ~/ |* Z1 \$ ?1 _4 [8 p
1
/ z8 N3 {3 ^9 u6 w3 J" |soup.title.text
* _& k, g) ^8 ~! L0 \1( P3 E# _. d6 t
"The Dormouse's story"
z7 P g' l3 C* _2 o# Y1
& W' X+ ]2 k9 m, p M% ysoup.title.parent.name
% E6 o" r7 a, w, S( A1' y) q! J& e5 S: a, X- m
'head'" r; L" x# n2 B1 \+ [2 T0 e( [
14 S$ i2 I1 o6 p( ~1 y% |
soup.p
) I4 T( Y/ d2 X, S% J; j" ?1+ R% @! P, n; K& o
<p class="title"><b>The Dormouse's story</b></p>
8 J: q4 F$ F9 T1
2 e- J; b( `6 t1 A# x b( Fsoup.p.name- o' o& X1 k4 V7 K
17 O1 H) \1 S% p" J3 S$ b) M H
'p'
7 L/ E! ^3 U5 k: B3 a4 @. J1
" R( e) V3 i# T/ g+ ^+ _& h5 _3 t. ^soup.p["class"]
3 E% ~5 J) w# B1 T' m9 t3 V0 m1
8 X( Z! T) ]" Q3 V$ [ Z6 g['title']+ i1 X( t6 F, R ?
1
" Q, G/ J. M! E# {3 H) w' T. Wsoup.a
0 W U) S* }& ~& ^) v$ b" o8 |1
8 P0 l- Y$ E! I+ R3 D2 _/ D<a class="sister" id="link1">Elsie</a>
2 I" C& T7 m2 | V* }1
, Z+ ~4 {" p- m1 D! msoup.find("a")
- l2 A# k9 n0 m6 A14 [( s' z Y {! w
<a class="sister" id="link1">Elsie</a>4 Z3 }* r1 R/ h/ C1 U
1
. [3 W9 a+ y7 K% W! r& h; N8 Hsoup.find_all("a")
( U: V8 j) J* a1
( [7 o! c8 z0 k6 K. U[<a class="sister" id="link1">Elsie</a>,
3 l8 R1 c( ^: l @8 g% T5 ^ <a class="sister" id="link2">Lacie</a>,+ [4 d2 H2 p I4 H* M; z
<a class="sister" id="link3">Tillie</a>]
0 f8 B% M) y9 K3 C5 P( `- Q% N1
. l$ u7 O# r- ]6 D7 d6 k2 W8 y; p* l24 b8 i! A2 }+ I! {
3
1 ~0 j ?( b- `+ y1 o3 N从文档中找到所有的< a>标签的链接) d g! f- n9 n% T* \! u" M
for link in soup.find_all("a"):
. J% A+ h, u$ w3 @& D print(link.get("href"))
6 E( I, R* C. m9 i! n1* q( \5 X2 v# s
21 t; A2 {1 z5 X2 |
http://example.com/elsie' @9 n# i* n, L7 T6 n; t( g' E; D
http://example.com/lacie" d- @/ b5 N! H; M8 J2 O6 u
http://example.com/tillie2 y1 K0 G+ f e# Q+ w9 H
1
. \2 \5 u8 S. | ^% S26 C+ e- }. E/ k3 H! ^
3! H! q u G: I1 l8 t$ k
在文档中获取所有的文字内容
- v5 X3 T# T: Q: e& R8 Yprint(soup.get_text()): ?& n; T' P' x
1
$ }4 @5 x3 r* Y% A4 ]. E2 wThe Dormouse's story
2 a V: F4 G3 n$ P1 ~ T' {- I, a/ S, c% O2 z
5 \" Z! }1 x/ o$ i) F
The Dormouse's story5 {8 J% c+ H- Y9 i$ F
Once upon a time there were three little sisters; and their names were, f* }# }7 o5 `4 v
Elsie,
* u8 P6 b+ ?" D; ^# VLacie and4 v- J# q7 N: n
Tillie;. q; d8 H$ k* f. e. k
and they lived at the bottom of a well.
& n% u" d4 U i' O...; C. E* G6 C$ J) D
1
* i; z k% W7 F5 X: ^2
( U3 _# X4 Q- F3
5 d6 J2 A0 O# Y4) R6 M4 x8 `. h& \
5* o) G3 I% T3 F1 F9 x; f8 Q
6
% {0 f$ J. e) ^; l* e7
[8 p; N H0 S2 R% v8
4 I' V2 d+ w. g5 a/ w9
: Z u" |8 L: r, `8 Z0 p0 v6 \* u2 Q0 @
+ e9 @- T) @3 Z( V& y
& r4 \- {6 P4 t# O) [7 h通过标签和属性获取
* A+ z1 ?+ y7 bTag有很多方法和属性,在 遍历文档树 和 搜索文档树 中有详细解释.现在介绍一下tag中最重要的属性: name和attributes/ I. G' V! @5 x8 k# {+ _. [
soup = BeautifulSoup('<b class="boldest">Extremely bold</b>')
% x' W: B$ C& p( t! d& l1 }tag = soup.b" p. i6 M" e3 v: S
tag
0 X" N7 J* s4 P: v) `11 Q2 m: F- ^: b
2" T; w' S# T6 Z
3
# P6 v5 E! W4 M5 X! T2 u<b class="boldest">Extremely bold</b>& @. l5 b" ^$ m: `2 |0 c: h
1
0 g) b7 J6 p1 X$ Rtype(tag)2 U0 @, q, R: k8 o
1
6 t/ d. E) z2 \bs4.element.Tag( L. \! ]7 b- l+ d8 j5 H a
10 V2 N! z2 k6 S9 n, f/ v6 M
Name属性7 A9 X2 y8 o6 k
每个tag都有自己的名字,通过 .name 来获取:
' H3 F( ^1 _% b" t# m! O1 d2 f+ O ~tag.name
# @2 `& r! s9 a. y" ~+ A1
# f' x1 x7 @6 p a' q) s'b'
3 Q- F" Z: J6 |1 p( ^1; Q$ _& W/ f" c$ W O+ N# }) ?
如果改变了tag的name,那将影响所有通过当前Beautiful Soup对象生成的HTML文档7 s/ C* V" U1 L3 Y* k0 C2 l7 p
tag.name = "blockquote"
/ U, l0 t: u; ^% ~0 f! Q: q4 \tag
' i! i1 H4 o' \1
$ s( _ t8 {/ B4 q, C5 {, w2& M7 G& T& O6 y3 K
<blockquote class="boldest">Extremely bold</blockquote>
7 C" p. d+ R; H12 D& O% |9 g N5 O- N* ~. s
多个属性1 \! T/ V7 [4 M$ L, f+ T6 @" y( \
一个tag可能有很多个属性.tag 有一个 “class” 的属性,值为 “boldest” . tag的属性的操作方法与字典相同:. ~( }! m2 G# y1 m" q
tag["class"]
6 P) @1 K+ G9 i; g7 C. T6 c1
) x: F7 ^* ^8 A4 \* t['boldest']9 d# k \4 O) R: w
1
0 i7 y6 u( P5 t7 n! _0 ctag.attrs
, c- C: F% Z5 @+ j8 h) j2 L5 O, U1* V6 k; G$ J; K# U
{'class': ['boldest']}5 Y% w0 B4 M3 k1 k" u* S
1! d3 Y7 I" |* [4 I3 f4 y+ Q
tag的属性可以被添加,删除或修改. 再说一次, tag的属性操作方法与字典一样
! q2 y& j; U! e8 v |0 w: jtag["class"] = "verybold"
# g$ c" x) R! M- j }( g7 ?tag["id"] = 1* n+ `' G5 F0 }; \' {9 ]7 k
tag
/ n# W4 p' ]. j! a1
5 F" q1 h6 t, n/ [4 Z9 l X* ?2
- x/ C' G& Y, F5 X, t3
3 m/ @0 ~# c( H5 o4 ~! |<blockquote class="verybold" id="1">Extremely bold</blockquote>
2 M3 ^3 ]) ]' }+ P4 A9 M1
+ e$ j. b+ H6 i5 ydel tag["class"] `" U W! Z) {% X2 {+ d
tag9 Q* y5 m3 h+ E& U# T; e! q4 y
1/ Q1 b. P" E$ t. \+ d: [8 I
2
8 Y4 C% {5 M- T: r<blockquote id="1">Extremely bold</blockquote>
( g) k; ]: c |1
: p z# b/ r. T. s x, Q$ G多值属性6 t0 E/ b$ Y1 a. \! E1 O
css_soup = BeautifulSoup('<p class="body strikeout"></p>')
& x+ ~" f" i* _; Xcss_soup.p['class']/ B/ U0 x8 J9 N( t6 I. p$ W) p
1
9 U9 b, I* ~/ t$ {, t/ _2' f/ Z. `& p$ d& ]8 n c
['body', 'strikeout']
# K0 }! H6 S" U, r0 I! _3 _7 C1
. l; u- ?# i3 {5 z# M5 z$ ]css_soup = BeautifulSoup('<p class="body"></p>')
/ @2 @" P8 q) M7 T" c; Q6 w: a5 z& o5 Ncss_soup.p['class']5 t: e# g) b( m) J, k ?
1
( ^) f5 S0 P1 h& `+ x& n" U2
* r" G ?3 n7 V8 O['body']3 o4 j7 q0 E& n; B" x2 |" \3 c5 g% u
1+ \7 r" b* U6 I2 m, e* u
可以遍历的字符串
, A' s# i1 u4 F3 u字符串常被包含在tag内.Beautiful Soup用 NavigableString 类来包装tag中的字符串:/ f4 g& B/ ?# B# ^8 N$ d
tag.string/ }; m5 v+ H9 [% O I
1
7 b' E& t& S8 S5 k) I'Extremely bold'4 F! i8 T: Y7 {. ~
1. Q% Y: d: |* r5 j% Y7 @& t4 _
type(tag.string)
' A' H* u0 h1 Y) K1
. {/ o- t6 J+ i5 j& y7 k Q. vbs4.element.NavigableString
# i4 X" k; I! s* z* W13 \3 W9 ~ D, y9 [" ]: y
一个 NavigableString 字符串与Python中的Unicode字符串相同,
: t! i; r$ v* x B+ U并且还支持包含在遍历文档树 和 搜索文档树 中的一些特性.
3 A" G ] B- e5 S6 f5 s通过 unicode() 方法可以直接将 NavigableString 对象转换成Unicode字符串:: O- i* A Y7 K2 A' b3 p
7 i0 _* Q; {+ b- ^+ h" P9 O' O+ x6 V
tag中包含的字符串不能编辑,但是可以被替换成其他的字符串,用replace_with()方法
: a$ _! E2 s# @0 l4 Q9 ^" w( l2 I5 u- M
7 j3 o; L6 Q* e, E) E
tag.string.replace_with("No longer bold")
3 k) H4 Y7 T* L/ c0 B/ D1 Vtag
9 {; p' @" ]0 W; ? h) S9 o) J/ C1 N18 c- [, F8 z/ j: J
2( V/ H9 c8 q; K/ y$ m$ f5 J( z
<blockquote id="1">No longer bold</blockquote>
0 b* O! p* T, v% a" U1
; a% E' | x% S注释及特殊字符串8 h4 V! J0 }) c) Y, J @& j
文档的注释部分
o/ X% y' J D, Y" V. lmarkup = "<b><!--Hey, buddy. Want to buy a used parser?--></b>"
3 r% |9 X, W$ i$ a vsoup = BeautifulSoup(markup)
+ ?: F3 E2 C1 Z, W" V- ucomment = soup.b.string5 @0 }. L8 ?! _' W" a
comment
3 D, e2 A) k; b' J" W8 e1 G6 B' [1* c% U( q8 X; R% U* j% ?7 a+ ]
2. E9 K* C* y a; }9 Q% y1 D
33 X- o3 \$ U7 F6 H* r( J
4
& N g$ L8 v6 y9 n* Q'Hey, buddy. Want to buy a used parser?'! s0 e3 |2 T9 b [
13 E3 I; ^7 r( I* o
type(comment)4 S! P; z& K; {& N6 _7 `- [" x" ?3 ]
1
1 C/ n1 P0 Z1 d% Pbs4.element.Comment
; i: t8 G# c# F7 b* W! J, ?) p9 }" P1# d0 R, H8 M+ d) U9 d/ p t/ B. H
Comment 对象是一个特殊类型的 NavigableString 对象:$ D3 g5 T' a# e
comment
% G, Y. S: d6 K) b2 `' _0 ~! Q* Q: l1
) o7 K+ ^7 f8 G2 g* r'Hey, buddy. Want to buy a used parser?'
! f% p& @, O/ [7 W$ Z1 I2 W7 J16 ?8 C5 M) I( h1 _3 N' K3 C
但是当它出现在HTML文档中时, Comment 对象会使用特殊的格式输出:* |- o% W# m2 J( a( d
' @+ n, k9 I! h
u( M) ?' ~+ m# H6 u
print(soup.prettify())( i* @; K7 z/ {" [9 c
1- r9 K4 Q$ X9 @& s3 m+ u0 n i
<html>+ w5 F* F7 l; Y% P1 h
<body>
) L% h' B, J0 @6 S <b>
2 M8 u& C; e+ P5 O3 \- r$ z) } <!--Hey, buddy. Want to buy a used parser?-->" L' v6 Z. r% R$ m) G$ [( P
</b>
# _* K8 L, o' h* _ </body>
$ @$ { L1 L/ ~/ a6 U</html>
& x6 v5 |3 H: \: n" ^/ _& V7 t17 Z+ M6 S" Z+ K
2
7 H( x# v- f: ~2 Z9 N3: r+ g ~6 ~, q" F4 \! z
4
5 ~( I& t! n+ L$ X P5. {; [9 d- U) F8 d
6
+ I+ p- i9 S/ U* T& a7% p1 N7 Y- T ]2 F! c5 V9 O
from bs4 import CData8 }8 b$ t7 T' _$ C2 @* j; w
cdata = CData("A CDATA block")
^1 p8 A+ t; @& Q- S9 |) M- Vcomment.replace_with(cdata)) y0 a7 G' [; l7 n5 Q
print(soup.b.prettify())/ U, V; R# {2 ~# e" X$ H
1 m" d, g5 I3 @: y9 P
2
% z$ I* w/ H5 E8 V4 `3
4 G1 ?% \3 p5 z( x' Z6 r. S4
$ J, L" a- f# f. A! |<b>
$ v! M; p, @* v. o3 A4 A; Y+ e <![CDATA[A CDATA block]]>' o! b+ X7 E& a- ]
</b>" }/ j& U9 H1 T0 B. ~
1
" I' }' B; ?/ D. v, B, C! n9 i# U2
- z& V; w" o5 ]; t( i3
3 N, a, M% ~% ~! H/ d遍历文档树
* H# N4 T: H( u9 l& h7 V5 whtml_doc = """
/ d. z# d6 b. ^' J" I" T8 ?2 j<html><head><title>The Dormouse's story</title></head>6 h8 G; S% k/ u; ~% i) A7 Q5 a
<body>' ^4 [8 N+ X! V' b
<p class="title"><b>The Dormouse's story</b></p>: ?9 }. S' z7 m8 {
4 {0 U6 ~% G$ h7 E. b' J2 [
! S8 l) h$ Q% j" U
<p class="story">Once upon a time there were three little sisters; and their names were" V/ k' l4 ^& _
<a class="sister" id="link1">Elsie</a>,
, e9 v5 m% L/ [$ p0 g3 r% J, C<a class="sister" id="link2">Lacie</a> and
- m) b- _7 l2 _3 W( R<a class="sister" id="link3">Tillie</a>;# U4 j/ A' p6 o; P' d+ r: U
and they lived at the bottom of a well.</p>' T5 K2 X, e7 U' R
( c& x) {5 I1 t/ `6 l3 c7 k
, Q: c9 [5 |) p7 N<p class="story">...</p>
( Q" L* h' S3 I! N6 |""") Y2 j9 ]6 e: k( F0 H& E) ?, U
1; L' ?5 I9 `( G% @4 s. D
2# w, A/ V& }/ w6 O+ b s9 @
3
2 @; C3 c; i$ N# F; r4
2 J* \8 x* _: `4 Y1 T, g" J/ D( k' V58 [4 e4 l+ O9 B0 j1 F7 a
6
z& g; i1 P( i! c+ `7
/ J3 X1 e0 A7 |) x& F87 J) H7 N J& g
9
! R* k t. Z' t7 K10
8 |! V% U& u3 y# `+ o k! R11
7 F! b& t/ B: f& R Y12
, V+ |+ ?! I; l! R6 c. ]13# d( @* z, ?& ~! m. N8 n
from bs4 import BeautifulSoup
- \* G4 W \/ D( o" c5 w1
3 k( b2 D9 ]3 b( _9 x# [soup = BeautifulSoup(html_doc,"html.parser")
5 ?) ^1 ~5 N' [1) r2 D. Q/ Z9 X9 K' g" ?5 c% y
子节点: ]" n6 j. o& G z" Q6 ?7 G
一个Tag可能包含多个字符串或其它的Tag,这些都是这个Tag的子节点.Beautiful Soup提供了许多操作和遍历子节点的属性.
; R# ^( G* y% }" V5 \: O& b% k& c* x; t5 q, S# Q
; g0 i1 k' h! dsoup.head: M: f, O5 I' e8 Z L0 R
1
( Z( g" b/ L9 K+ u% Q; W4 v<head><title>The Dormouse's story</title></head>, ]7 \( U. N$ C/ e6 }, P
1
p% u+ I* T! usoup.title
2 I: d8 r p" G+ O# z1+ C) ~0 h; a( x: W6 g4 F @8 j
<title>The Dormouse's story</title>
5 x3 K+ @* ]' S8 o/ p. }5 t1# i0 \6 W* C% e/ B% M
这是个获取tag的小窍门,可以在文档树的tag中多次调用这个方法.下面的代码可以获取标签中的第一个标签:
, C) {. m8 l( A+ o' a# d; b% X( i+ i% t1 r: M
) {- R: |) s: k$ C: p; j" _7 C) {soup.body.b
2 o: i0 W: E- q6 X" {/ f1
8 D' f+ [# ]) M3 R6 j<b>The Dormouse's story</b>7 r. q! L G- B1 `0 {- C Q
1
( h' E: y1 t) d/ S1 Q' ~. W通过点取属性的方式只能获得当前名字的第一个tag:
3 W* d1 R2 h: u! y1 x% q' \( t# J% h% H. b1 U; u
+ p2 Z& z% A5 I# U. H
soup.a+ S W* }6 E2 k7 Z- d9 a
1. T1 R" R. X3 y1 J" W
<a class="sister" id="link1">Elsie</a>
]. |: t- h: [4 s% e1, q Q7 [4 j' n* |+ \, z
find_all方法1 ]5 o+ \8 ?0 W- C3 A
如果想要得到所有的标签,或是通过名字得到比一个tag更多的内容的时候,就需要用到 Searching the tree 中描述的方法,比如: find_all()- K/ V% M& c4 N5 q8 y
0 |! o- U4 T1 F" \' a& }4 o8 K
- z5 h9 i9 K; v _& f: W+ v' Ssoup.find_all("a")
, i7 X; h3 H4 l, g1
0 x& F8 G0 D) S% }) N' Z2 u) K5 e[<a class="sister" id="link1">Elsie</a>,; N4 j) ?& Y/ g" f$ l* y
<a class="sister" id="link2">Lacie</a>,
+ z7 w; h/ f% Y <a class="sister" id="link3">Tillie</a>]
' ~$ M/ T! ~9 L& h; S1) s6 I7 ?; B2 X+ }) s1 @, J: u/ m- Y
2: ]% n& v4 M# f. N" s* v' {
34 H% g& [' {: _# v7 l
.contents和.children
9 q7 f6 u/ S% a' x% ]9 ghead_tag = soup.head
" G% i# ?5 S. M5 hhead_tag+ s# H" ~6 J, W0 E4 j" n
1
3 L( Q$ g# o, ]4 `2( A0 ]! D% i: O% J. j& y% W
<head><title>The Dormouse's story</title></head>
, c: [0 s0 F" T9 S. l* C" z' g13 s) i/ p: R5 _7 n
head_tag.contents
0 u. e1 f% s/ x/ I* m( ]' y7 q1
# V. d3 @9 ?8 j6 M# ^[<title>The Dormouse's story</title>]' d E; e0 p5 a' i A6 k2 r
1
) | k; v) I/ r2 o$ {8 \head_tag.contents[0]
: D9 B8 f* c) ~4 c1
) g' q) ^7 S+ |+ D8 ~6 [% l7 I+ a<title>The Dormouse's story</title>
; y+ I- \, l% E& r j, n12 E* s D2 C, n. i/ g
head_tag.contents[0].contents, ]- R) k; O( \' e0 w
1
( L6 H( \' w0 t5 v* A& S) C8 }["The Dormouse's story"]( T$ O" C* X- e" a( H5 ]# G, R
14 N) |" W8 q- `" |
selenium
. v3 S7 x" `6 |" d0 A8 `( }$ w
1 [9 H1 J4 T+ g; P( X
! _9 y+ K2 b& l+ @ S0 k& t
: Q6 z% L- {* i5 m
. D1 S* G' w7 yselenium官方文档 https://www.selenium.dev/selenium/docs/api/py/api.html' k t, x3 ?& n& G: s
3 B6 Q( |- ~/ F g
$ d3 M- ^1 w3 A( vselenium介绍
4 C# F4 e' E/ D3 }chrome浏览器的运行效果/ c. j+ l+ \, a4 i
在下载好chromedriver以及安装好selenium模块后,执行下列代码并观察运行的过程2 ^) x/ a! v4 ~0 J+ d' G
- b9 g5 s4 s9 z: T7 |7 ~/ c3 A* Y- E x
from selenium import webdriver
; I1 `3 k9 {) T+ t4 E" Q* C/ v
! ? B# O# g* `! ^2 ] m
/ }' G9 x4 u; g- H# 如果driver没有添加到了环境变量,则需要将driver的绝对路径赋值给executable_path参数
/ A8 Q$ G* i0 q2 y: t4 b7 K/ H# driver = webdriver.Chrome(executable_path='/home/worker/Desktop/driver/chromedriver')# @* c+ n F$ j I
7 p6 c$ ?: k" i |- T* g4 r
/ |: }! p2 }% r4 o# q# 如果driver添加了环境变量则不需要设置executable_path1 ^% S7 d% q; m
driver = webdriver.Chrome()5 m) a% x" f6 }; \) O6 w% Q
6 U8 T4 l$ W; O# d. c1 x
7 p# R0 i! D# H# 向一个url发起请求
% D) q$ M& p) s! ]+ Ddriver.get("http://www.itcast.cn/")
^. ~+ ]4 [4 D/ d& t- h2 |( C. o9 o8 I) B: g
0 b& P! k; k$ T; F; q# 把网页保存为图片,69版本以上的谷歌浏览器将无法使用截图功能
0 l& R; K; h5 W; U3 [9 k% \# driver.save_screenshot("itcast.png")
8 } I8 L! s6 J) m! ^$ q4 v. e# |) K: O
1 o, u' K9 A# s3 ?5 @6 j
print(driver.title) # 打印页面的标题
0 _# p* J" o! j0 l; R
/ w7 X2 r H c$ q. s
: | R4 S% U5 c! N0 ~# 退出模拟浏览器
( I/ C0 K0 a. t5 B4 ^driver.quit() # 一定要退出!不退出会有残留进程!7 v2 E4 b" A( ~5 X# C; P9 Q& K
11 r8 U( s, V! k/ \9 O
2
' C/ B* l+ W$ j3
, \+ N6 R: v& Y. G4
- W, {5 _' R2 {$ Z2 v$ ]' R5
- R# o) |# P1 m' Y3 u# m- {6
) e1 H8 [: |2 i' u [) C# k. T75 H; Q H' h# M- P& N6 c
8; p2 M& Q! A0 [2 Q4 f0 }7 y4 {
97 | M- ]1 _6 @% a; j3 m; @
10! K( t8 q- |8 X$ Z2 O
11' `5 o8 [( i6 J T4 u7 K1 I
12. v7 c, a; [5 ^; F$ D6 q
13
/ S1 q7 V# u4 B6 T" k6 R: Q, R7 E: ~14. z4 @; X( [3 A, N
15! g% } W% P& f$ J1 a' q; O
16
0 k7 Y1 `3 @" Z% l9 N171 I: v& B- Y- y! z, L6 y" L
18
0 z& H, ]& ~+ ~" Z$ G! p, D3 Zphantomjs无界面浏览器的运行效果
2 [+ Z& ^, Z- N; g1 ZPhantomJS 是一个基于Webkit的“无界面”(headless)浏览器,它会把网站加载到内存并执行页面上的 JavaScript。下载地址:http://phantomjs.org/download.html
* R, E# O6 H4 l. Q7 l1 X/ ]) U
- J. f O/ Q y, Q; e/ O# N' G; k5 p- z2 @
) C5 q1 P+ q2 [% g! }from selenium import webdriver 0 z* ^* h3 E0 ~ e4 u7 M7 C
8 g* X$ M0 L2 d$ ^. V
) |# H# y$ N3 g, O1 Y# 指定driver的绝对路径/ J: S* o3 k! b) L8 E
driver = webdriver.PhantomJS(executable_path='/home/worker/Desktop/driver/phantomjs') 2 }8 x4 U1 D: i& K6 |
# driver = webdriver.Chrome(executable_path='/home/worker/Desktop/driver/chromedriver')
" G) g* I: ~; e9 h2 T
; V4 }; ]8 t3 O" S% |7 A' q" \1 Y6 Q1 _; I& {: r
# 向一个url发起请求# o: Q% s4 \' Z/ x) s# K b4 u
driver.get("http://www.itcast.cn/"); `5 z4 [6 [8 _+ h# S/ I! C
5 d0 M5 P A8 _2 T2 Y9 E* X8 |
1 w& `, m/ }) ]9 w: s# 把网页保存为图片4 m: c1 ]& i4 n) M* V
driver.save_screenshot("itcast.png")
t- U3 C8 M! {* a5 t, M5 n" C, h! {
' [+ a2 W! @$ h' q: a4 w
# 退出模拟浏览器; {$ [% }0 P; H' _8 g7 w. D
driver.quit() # 一定要退出!不退出会有残留进程!
" N: S3 ]# m$ A; x( A$ Y K1& {; @- I S8 J8 V% g3 C
2( H+ h4 r: X) @- c, Q
30 T0 G3 Y" Z9 c0 B2 a
4
h, Q& ]( f8 D' k' y& S0 A, M5
1 z% e, t: ?- L# M4 l' N* q7 c6; G3 ~* h. l# J7 h* k/ J9 i& s) u
7
$ H4 I- z6 f1 c* e5 v8
* u9 U4 \- B8 _% `91 _5 Y! T0 T/ m
10, }( l y% X2 U5 U( F) x0 t
11+ j# G* d) B( c; q+ k! n
12/ b8 `9 \7 ^- ~6 c4 d
13# S# S/ }! K' c; m- Z
14
W) v" G8 u, E) ?3 j& \ f* i! M, @无头浏览器与有头浏览器的使用场景
' R- v7 O; W; N; r: O s# w
( u) R0 x% ^+ u1 t* q( h$ r7 p: F5 F! u9 e- \
通常在开发过程中我们需要查看运行过程中的各种情况所以通常使用有头浏览器6 ?( y2 ~3 o9 R5 t/ _1 L
在项目完成进行部署的时候,通常平台采用的系统都是服务器版的操作系统,服务器版的操作系统必须使用无头浏览器才能正常运行* B7 p' N. G$ K! I/ b( F' T9 O
selenium的作用和工作原理- T! \" z5 C+ `7 H
利用浏览器原生的API,封装成一套更加面向对象的Selenium WebDriver API,直接操作浏览器页面里的元素,甚至操作浏览器本身(截屏,窗口大小,启动,关闭,安装插件,配置证书之类的)
* j) `. k, h" J S( p8 L6 o8 C. n
6 M. V+ b, i* z$ d( i% W* t& Gselenium的安装以及简单使用" u: L! n4 x* q0 V d8 R6 t
以edge浏览器为例 参见这个blog哦,驱动chrome浏览器同理
6 z3 b. w( Q# O) w1 wselenium驱动edge浏览器& ~8 E: ?- y2 x& k9 v5 @$ o
: p# J" y3 }0 b$ S
, x5 Q# g$ c& L0 h$ N; l4 `
chromedriver环境的配置+ c# J n3 T7 j6 \5 C
windows环境下需要将 chromedriver.exe 所在的目录设置为path环境变量中的路径
2 q% k8 o" ?. p* Tlinux/mac环境下,将 chromedriver 所在的目录设置到系统的PATH环境值中$ p% X9 y9 B. w, l- f
selenium的简单使用4 O6 @# `! K! z: j) V% j$ j
接下来我们就通过代码来模拟百度搜索
( l% M* n/ E: f& T) S" f6 ~ F2 N2 N P) p
% M, X0 }- C& j" nimport time) W$ w0 U2 n% Z
from selenium import webdriver
3 p6 h" r7 {) i/ ^+ ]9 u- N& H. w" u( _6 B
" F0 z# A9 J3 _( X3 i- Y. [
# 通过指定chromedriver的路径来实例化driver对象,chromedriver放在当前目录。
' e6 `5 Q' n& u- |& g# r$ y# driver = webdriver.Chrome(executable_path='./chromedriver') d5 @# z. I$ v! G. L$ P+ @8 j
# chromedriver已经添加环境变量& \2 s9 U% Q* x5 v) z0 v$ S, X
driver = webdriver.Chrome()
( Q& b; Q$ N! v; F
; \' y8 h9 w1 Q" V7 _; a6 Y, A/ J$ g; m
# 控制浏览器访问url地址
& R& D/ l0 g( I" r6 idriver.get("https://www.baidu.com/")
& y4 W/ h( m" v2 z
! R& s7 h* ~0 Z* b1 T3 A! ^. P% U8 a' D7 O( }: C
# 在百度搜索框中搜索'python'
' m# `/ e- e0 I, `driver.find_element_by_id('kw').send_keys('python')
) B4 g; K# b G# I# 点击'百度搜索'
* Y- J5 _7 {% x! ~driver.find_element_by_id('su').click()
5 b5 R, ~* v2 D; \3 @8 G- p* N0 X( o2 G: ^! y& w" p4 k- N7 i
3 @/ b5 Q( W+ i6 q* B
time.sleep(6)
, T+ [ I+ x* }# 退出浏览器& Q9 m0 m. O l- U( ^
driver.quit()1 o) h/ M& l* Z- J2 N
1
' ~% z m8 g5 B2 L. b2
5 v* g9 i, W/ X# u1 ?* v3
% J" e S/ N4 W# Z5 K/ D; p# L) m4
" l6 G5 a# L$ P9 k; O4 T58 I% `6 ~1 j1 f0 @
6% ^% C, w$ R9 L' l# w
7
6 q% r7 G3 P) w3 h5 W8! F7 y- I, I2 s9 n; C+ D
9
+ e! a6 I5 X+ @6 `10+ E0 j' y* m6 H. ], V0 [: B6 h
11
9 y" D+ f# g% q* O, c12
" Q' Q! G2 R' c- ]" q13/ r9 Y. O- j5 H# j1 t1 K$ S
14( w4 w# `- D8 ^, B
15
8 D! o; M6 h T t* O16
3 V" s; ]$ a1 J5 l% E( @17
0 m3 Z, b- m$ \0 O18. z* L' j. B; h, b9 h$ P
19
0 t! P( J9 z" B- ?4 Hwebdriver.Chrome(executable_path='./chromedriver')中executable参数指定的是下载好的chromedriver文件的路径/ k4 y. P" M: M
driver.find_element_by_id('kw').send_keys('python')定位id属性值是’kw’的标签,并向其中输入字符串’python’
# K O) F" M1 `( b1 Udriver.find_element_by_id('su').click()定位id属性值是su的标签,并点击' _* _& t, B9 S7 X
click函数作用是:触发标签的js的click事件8 } S* B0 Q) t6 j* ^! N' L1 Z
值是’kw’的标签,并向其中输入字符串’python’' _4 {$ B1 s2 h
% I# c7 {9 X T& K& m( t$ u, H
`4 P% f" Y" n6 |' A+ N& ndriver.find_element_by_id('su').click()定位id属性值是su的标签,并点击
% i, ?) P" _7 X; Bclick函数作用是:触发标签的js的click事件
7 d0 ~, q+ _& U- V8 q, ^使用xpath来提取数据,爬取数据的简单语法。
5 e7 M3 L: w, d
* P) {& K* d3 W, M: y& q* p9 D/ h; _& T N% z' ?" C- p
lxml
0 o) V+ @; r7 ^0 i& u+ a$ h M x- L& H- G2 T6 P5 J
% I1 J- A ]6 {# ? `- S( Q, l+ h W* ]: o0 t8 v+ R# n. |" c" |) D/ c) ~
9 J8 \- y7 y8 C4 K d4 m
requests官方文档 https://lxml.de/0 h9 N& T6 [ D1 V& r" m
5 W6 b" w& \/ z# N6 e
* l w7 O$ Y- V7 r4 rpip install lxml
: F/ k7 t5 L0 K S. g1, k5 T8 \& y; [& [4 F4 @
导入模块
1 c, Y# y9 {( R" f8 W; }. gfrom lxml import etree
! X3 _0 y" B$ F- p/ p1 O6 Q1
& m; F2 X3 z/ x, A3 I利用xpath获取text或者href内容
5 r2 }2 n8 o/ Z; o! M6 ~& y/li/a/@href 这样取的应该是href的内容
7 B% f8 h: e6 {+ Y' _$ ~/li/a/text() 这样取得是text内容
- u1 s5 p( p2 z1 r/ M1( r0 N6 ^' s1 L& }
2- W3 k2 f! n# Q* i9 s D! R5 v
etree的使用
9 g. i n- M: L4 i& j; c6 `$ Sh=etree.HTML(response.text)#response.text是网页的源码
3 T" q0 B( o" K( q* Th.xpath('//img') #寻找所有的img结点,; t$ w5 l7 b9 E* k6 C* t
h.xpath('//div').xpath('.//img')#寻找所有div下的所有img结点0 y; m+ y- g! o D) q3 k- q
18 W, G! @* h' a$ ]
2
9 p4 r8 x' ?' r _! g# c3) V& Y m9 @3 {. x. W4 }2 y
xpath的语法
5 i/ x( M3 i) r1 i符号
' R' {5 u3 L; p, r, j! sXPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。8 Z ]1 h% H" Z2 k: x
! }1 y/ D6 G& r1 n$ ]
" ~+ ]+ |" A; L7 ~3 `1 R表达式 描述
. K* ^, p, C5 q# C! d1 g* d/ 从根节点选取
( F* U+ p# R# a# A! V// 从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。
- t1 `) s5 X4 S# j+ ?: v6 ^# K. 选取当前节点。
: ]; C& e' U6 u {% Z% o: l/ [. . 选取当前节点的父节点。- Q/ P! E- s4 K3 J ^$ `% E$ g
@ 选取属性。* u2 Q/ ?6 y8 a: e$ j
| 在两个中结点中选择
& K2 m( U; V8 M8 t, B1 S6 e4 p() 用()来包含|* h t* x" z/ l2 D) q1 o4 v; Q
* 包含所有元素
. X' U- S% O/ Q" E ^not 取反
0 ^# I5 H. |4 d$ k$ Z+ a: _& h实例3 g4 {1 @- v9 v8 u0 G4 g$ E) I
1 `! ^2 `/ k# D( h7 o! g, D! b/ w; ?1 A6 f+ E& W$ O2 O
路径表达式 结果4 S+ G5 w2 f) ]) H7 j$ ^
bookstore 选取 bookstore 元素的所有子节点。
4 m/ w ^, d1 f3 U9 k0 r' Q. M4 Q/bookstore 选取根元素 bookstore。注释:假如路径起始于正斜杠( / ),则此路径始终代表到某元素的绝对路径!, T D7 f4 Z3 @$ d
bookstore/book 选取属于 bookstore 的子元素的所有 book 元素。' a% B4 U( v5 ?* ]/ r& [
//book 选取所有 book 子元素,而不管它们在文档中的位置。
6 @/ B9 S2 x6 m$ f# E$ U( pbookstore//book 选择属于 bookstore 元素的后代的所有 book 元素,而不管它们位于 bookstore 之下的什么位置。
5 y9 |" j- [( |' \: O% h3 g6 {* S//@lang 选取名为 lang 的所有属性。
, u/ r7 e8 Y6 [9 c: r) Z9 h" v//*[@class] 选取带有class属性的所有元素5 t* F( s# {! I! o7 {4 f
//div[@*] 匹配任意属性的div元素
9 g; o" J6 d( I//a[not(@class)] 匹配没有class属性的a元素# j' p x w1 P+ m/ `0 Y
谓语( q2 l% r) ?3 |
带谓语的路径表达式
5 J6 J/ n; t" ^. t
6 N* Y' L2 h% x" S9 ^/ r# \" L- I1 H3 m9 k0 B6 ~1 `
路径表达式 结果' a0 Q8 _; z& z$ [# T/ @* G9 @1 X
/bookstore/book[1] 选取属于 bookstore 子元素的第一个 book 元素。
4 w- R) { x) B. O5 `$ m/bookstore/book[last()] 选取属于 bookstore 子元素的最后一个 book 元素。
* X! {, |2 V* m% b/ u$ o7 p1 r/bookstore/book[last()-1] 选取属于 bookstore 子元素的倒数第二个 book 元素。
* ?( C4 n" {1 M# {& _$ r W/bookstore/book[position()< 3] 选取最前面的两个属于 bookstore 元素的子元素的 book 元素。+ T" N" N( |6 a$ l# z. [
//title[@lang] 选取所有拥有名为 lang 的属性的 title 元素。0 R3 f7 i4 y. \
//title[@lang=‘eng’] 选取所有 title 元素,且这些元素拥有值为 eng 的 lang 属性。
0 n0 [8 w( Z# R6 \+ A/bookstore/book[price>35.00] 选取 bookstore 元素的所有 book 元素,且其中的 price 元素的值须大于 35.00。2 Q- {% i" U8 }0 V
/bookstore/book[price>35.00]/title 选取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值须大于 35.00。 t l6 u: f# L6 u+ F, p
————————————————+ j+ o u) M: k* U
版权声明:本文为CSDN博主「北山啦」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。 N# B% J* g8 e* C# ?
原文链接:https://blog.csdn.net/qq_45176548/article/details/118187068
: G& H. _5 F/ I; J; G& v" V
& ^- ~$ o3 `, N: d1 `% ^+ }
9 e9 o* F+ n" n% R, ?6 M x" [ |
zan
|