- 在线时间
- 1630 小时
- 最后登录
- 2024-1-29
- 注册时间
- 2017-5-16
- 听众数
- 82
- 收听数
- 1
- 能力
- 120 分
- 体力
- 566455 点
- 威望
- 12 点
- 阅读权限
- 255
- 积分
- 175159
- 相册
- 1
- 日志
- 0
- 记录
- 0
- 帖子
- 5313
- 主题
- 5273
- 精华
- 3
- 分享
- 0
- 好友
- 163
TA的每日心情 | 开心 2021-8-11 17:59 |
|---|
签到天数: 17 天 [LV.4]偶尔看看III 网络挑战赛参赛者 网络挑战赛参赛者 - 自我介绍
- 本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。
 群组: 2018美赛大象算法课程 群组: 2018美赛护航培训课程 群组: 2019年 数学中国站长建 群组: 2019年数据分析师课程 群组: 2018年大象老师国赛优 |
. k# }# `4 }; W3 E0 q V
Python爬虫 正则表达式应用详解
: u# C0 k. V( ^/ Q7 _1 E5 `, u1 B" j9 F, [! c9 G, ^4 V9 }
学习Python爬虫过程中的心得体会以及知识点的整理,方便我自己查找,也希望可以和大家一起交流。
8 V% B6 K" ~- U9 |) j# F$ }3 H5 n" X, } R: ?# u/ m
—— 正则表达式应用详解 ——! o! E+ u. Q: G- W+ p! o
( _* q' M" k1 `- p4 A4 L" |
文章目录9 T3 p3 B) j2 m0 V
; r, X# h- @' M8 @6 UPython爬虫(二十一)2 D4 g3 Y6 {- ^" r" [
—— 正则表达式应用详解 ——( A: ^4 S6 F, B
1. 简介
0 _0 P) w8 a$ `* v2. 语法! E( F7 { {$ w% ~- E7 t( J
3. 部分元字符应用详解" c {8 }) C9 k I
^! z8 I, _, @( D4 x0 c* R$ O- G- v
$
$ g% z1 H; R# K+ R9 Y\A
) ?9 E2 Z: h% k8 C\b
! l6 H; _5 B8 `) z, x/ z9 s2 {\B$ V5 F5 x5 q1 F/ G: A, ]
3. 正则表达式实例7 t- A6 g6 P# X5 }: o- N
相关文章:
* ^' w7 l( ]; \( v8 G1.Python的Re库应用详解(正则表达式的库)7 w, Y* ~# Z/ M9 J
2.Python的Re库与正则表达式的细节解析(正则表达式的库)" ^1 V% r, X0 ]1 |; b
; J; q1 a8 t; ?8 s7 x0 ^+ d1. 简介
) S3 g4 _+ R4 `+ X# m; ^1 l$ t, @/ [. T6 `
正则表达式:regular expression,也称regex,简称 RE
" @# G" F" |& R; S9 X7 V- g) A" t6 ]/ C
正则表达式模式被编译成一系列的字节码,然后由一个 C 语言写的匹配引擎所执行。
& `: O: X6 L/ S! @+ ~* p7 e
1 N; P) }/ h; ^$ J p正则表达式是用来简洁表达一组字符串的表达式
1 v0 q6 b+ z% E. |$ w( `' W5 T$ }2 G# q _
通用的字符串表达框架) I; B' E* U5 m, X' u1 N U E
j3 r$ L3 T0 U9 M K简洁表达一组字符串的表达式
3 y3 T$ J$ S7 F y
7 S4 n* ?9 U' z+ L0 a针对字符串表达“简洁”和“特征”思想的工具/ l2 H7 @. P8 x+ {
+ a o+ v/ z% e
判断某字符串的特征归属
; ~# S& S/ Y7 T8 `% o# W u; r+ Y: m. V+ t3 Y$ R7 {3 t
正则表达式在文本处理中十分常用
2 n; U) [' a1 |5 }- h) L! x7 C7 y1 T5 B+ v+ h+ a4 ^* f
表达文本类型的特征(病毒、入侵等)
8 s- E! H' A6 C# y4 z/ j3 b
, P% }( [3 C. [9 H$ b同时查找或替换一组字符串
8 U, `6 y- U/ h9 d1 W" e. ?3 \3 U+ U" [6 j' \) }; H" @, m8 v
匹配字符串的全部或部分. D9 \* m' y4 d# ]
8 \7 y. ]" P' K# c8 i1 y% _正则表达式的使用+ d% T, L$ X+ T' L4 D
$ s: ^# k; y N/ K+ P
编译:将符合正则表达式语法的字符串转换成正则式表达特征( q! a4 @7 `$ F; ^4 n- t5 g% m
) w' y. |; U/ D: S! _1 j/ a $ X$ N Y2 T; G, x( U
2. 语法
0 q. }% ]7 ~+ O/ H) D- Y* h$ K$ I6 S `( Q' G% f/ s6 t+ {( M' f# r
正则表达式语法由字符和操作符构成
" z# u; K# E9 h2 {3 X7 N& |
. @' J+ i- }5 _. g有一些符号不能匹配自身,它们定义了字符类、子组匹配和模式重复次数等功能,被称为元字符 (metacharacter)。
" z# c0 I* D$ a- f! M& W( C元字符包括:. ^ $ * + ? { } [ ] \ | ( )
0 _# A* y) r* r2 L正则表达式的常用操作符: c( l0 S! e W/ C. b+ | ]
在反斜杠后边紧跟着一个元字符,那么元字符的“特殊功能”也不会被触发
7 W6 Z5 k5 |" W3 U( E操作符 说明 实例0 A/ s$ @* y6 x [) H" L5 d
. 表示任何单个字符(除换行符) 【注1】 , b6 o# w- s: V% d8 P ?8 |
[ ] 字符集,对单个字符给出取值范围,元字符在方括号中不会触发功能 [abc$]表示a、b、c、$,[a--z]表示a到z单个字符( ~) k0 l- X* d7 j. f5 f
[^ ] 非字符集,对单个字符给出排除范围 [^abc]表示非a或b或c的单个字符! C/ l4 P( a V% W6 {, {
* 前一个字符0次或无限次扩展 【注2】 abc* 表示 ab、abc、abcc、abccc等8 G' [# T/ ?1 p. h! a; o! a1 t! {
+ 前一个字符1次或无限次扩展 abc+ 表示 abc、abcc、abccc等
: |- a+ v3 g4 i) ~/ z5 y! v; R- S? 前一个字符0次或1次扩展 abc?表示 ab、abc% b5 L; Y, a3 i @; B6 e; L
| 左右表达式任意一个 【注3】 |abc|def 表示 abc、def6 e8 S) m N* H0 C; k# U
{m} 扩展前一个字符m次 ab{2}c 表示 abbc
: a( N" \. ~6 [{m,n} 扩展前一个字符m至n次(含n) 【注4】 ab{1,2}c 表示 abc、abbc
: ~& |! I: s; a# `^ 匹配字符串开头 ^abc 表示abc且在一个字符串的开头
8 D0 {* {9 n: m# }3 x. k/ q; O$ 匹配字符串结尾 abc$ 表示abc且在一个字符串的结尾
/ D$ g% N, V/ Y2 q# _7 P( ) 分组标记,内部只能使用 | 操作符 (abc) 表示abc,(abc|def) 表示 abc、def; ~8 W( Z1 E/ r' I0 [* O: ?
\ 后边跟元字符去除特殊功能,跟普通字符实现特殊功能,如需消除反斜杠的特殊功能只需在前面再加一个反斜杠\\ \d \w \u3 _' q6 x7 ^) Q3 J$ i# V
\d 匹配十进制数字,等价于[0--9]
E( p# p, p$ d2 G/ y\D 与 \d 相反,匹配非十进制数字的字符,相当于 [^0-9] 6 B4 r A) l# a( k- M. ~
\s 匹配空白字符(包含空格、换行符、制表符等),等价于 [ \t\n\r\f\v] h& V- O* S- y7 m& M5 D9 R* R+ v
\S 与 \s 相反,匹配非空白字符,等价于 [^ \t\n\r\f\v]
I. b! }" Y% [/ g/ Q\w 单词字符 【注5】 ,等价于[A--Z,a--z,0--9]
) f2 i. x1 ^# D) H9 a) o' {$ A\W 于 \w 相反
) m' P: ]& C( q$ m\b 匹配单词的开始或结束 7 e6 K- p1 ?2 ?
\B 与 \b 相反 # _4 x8 }# c% e8 H9 n
\Z 只匹配字符串的结束位置。
. V) h9 z9 H4 f& Y( Q" z【注1】:如果设置了 re.DOTALL 标志,. 将匹配包括换行符在内的任何字符。$ l' L' c: n/ s( `0 a2 ^
5 C& x2 o0 _3 a* y7 \; c& j
【注2】:由于受到 C 语言的 int 类型大小的内部限制,正则表达式引擎会限制字符重复个数不超过 20 亿个;) _, {$ F% U& Y) ^
: V% f6 O9 G# f
【注3】:为了能够更加合理的工作,| 的优先级非常低。例如 banana|orange 应该匹配banana 或 orange,而不是匹配 banan,然后一个 ‘a’ 或 ‘o’。同样,我们使用 \| 来匹配 |字符本身;或者包含在一个字符类中,像这样 [|]。
3 A3 A( J, U; Z
1 }1 F) j1 w! x【注4】:可以省略 m 或者 n,引擎会假定一个合理的值代替。省略 m,将被解释为下限 0;省略 n 则会被解释为无穷大(事实上是上边我们提到的 20 亿)。
- a% b z; K S' l4 `. v) w8 i( \7 q# k- Q
【注5】:\w 匹配任何字符。如果正则表达式以字节的形式表示,这相当于字符类 [a-zA-Z0-9_];如果正则表达式是一个字符串,\w 会匹配所有 Unicode 数据库(unicodedata 模块提供)中标记为字母的字符。你可以在编译正则表达式的时候,通过提供 re.ASCII 表示进一步限制 \w 的定义。 ~' H1 N3 ]: V9 [1 s
& v3 T9 h6 O% g2 n% P% A1 G
3. 部分元字符应用详解' a2 @1 S( a' o7 w% K
" L8 ? y5 E1 M6 Y" }2 J1 [
^
8 v( g! I ~7 B" \ N
! R. f# m" O0 g7 }& H/ C# N匹配字符串的起始位置。如果设置了 MULTILINE 标志,就会变成匹配每一行的起始位置。在 MULTILINE 中,每当遇到换行符就会立刻进行匹配。. X. N3 P u r* F
. z- O- G9 Z- d, g: K K9 ?# q
举个例子,如果你只希望匹配位于字符串开头的单词 From,那么你的正则表达式可以写为 ^From:
~/ [9 K% o3 `& z: D$ Y: J4 w
8 W2 a/ J/ K, u2 p- oprint(re.search('^From', 'From Here to Eternity'))
# L/ {* g0 W; j! K' S+ Lprint(re.search('^From', 'Reciting From Memory'))1 _2 K4 M& U2 J8 K& r
1) D' K: D, e% {: z! Y
2
# g" w. a5 M$ V5 b/ Q3 h结果如图:9 E& j. H' h$ j8 R
![]()
. F0 p% e6 ~/ a, P6 i
9 R6 I& A8 ~) i; `4 ?6 Z2 B- R3 l$
2 f3 X* u4 E7 t7 T: y" g% Y5 P3 K
; i9 L; n9 w' L9 J匹配字符串的结束位置,每当遇到换行符也会离开进行匹配。
4 D$ [+ ~" N, `9 B# W% a8 d$ S$ b
( a9 m6 H9 V$ @4 j: x6 J- _& |print(re.search('}$', '{block}'))
: V9 t6 l8 e3 _# q+ i
- o( ?9 R: x0 g3 M+ ?* _print(re.search('}$', '{block} '))% c* |% H2 ]3 U
% C$ M) L' J7 c
print(re.search('}$', '{block}\n'))
( j3 @" A( B5 V& k- k5 P( Z' v17 P7 h9 U' A+ q' U" T* C
2
. l# O2 |9 K% ~! ]! q& _5 x3* I. N7 p. n! w6 J. p
4
3 U6 |3 s; G$ `& ?, v' x5$ [2 b! N. O2 x1 k# y! L6 W
结果如图:
9 t# b- J6 E1 `* Z0 `, e! o( O' ?+ k7 |; o. x
![]()
. h3 g/ r4 H$ p& g
3 P8 p% [( n5 q) |8 G ^ w+ L) A5 {同样,我们使用 $ 来匹配 $字符本身;或者包含在一个字符类中,像这样 [$]。: q$ C1 C( |7 C6 w9 U* @' c
6 a. L a& q l; K$ y
\A$ V; v1 N8 `9 |/ E/ }/ ]
3 ~+ ]7 S* \& O- }
只匹配字符串的起始位置。如果没有设置 MULTILINE 标志的时候,\A 和 ^ 的功能是一样的;但如果设置了 MULTILINE 标志,则会有一些不同:\A 还是匹配字符串的起始位置,但 ^ 会对字符串中的每一行都进行匹配。
3 I5 F/ Q# k* j( {- R+ C$ u5 f
8 U. t/ Y6 z' J3 g$ \8 Q\b8 O" R5 `* k, o
! t6 L5 ~4 t. L
单词边界,这是一个只匹配单词的开始和结尾的零宽断言。“单词”定义为一个字母数字的序列,所以单词的结束指的是空格或者非字母数字的字符。
3 d9 p% O$ l5 _
! Q- f1 E2 p: f零宽断言相关信息请点击零宽断言查看。! v/ W1 p& R8 C
7 s# J2 x: h3 |( Z2 q
下边例子中,class 只有在出现一个完整的单词 class 时才匹配;如果出现在别的单词中,并不会匹配。9 H: a5 a% Q" B, D0 |
, ` @0 a" Q6 Q+ e5 W6 n& Q7 C4 sp = re.compile(r'\bclass\b')7 }; z* p' I" O" j+ A7 R
print(p.search('no class at all')) % z! _7 g0 n2 D1 @0 n
6 r* g7 e0 P3 P, T
print(p.search('the declassified algorithm'))
~9 C# N" l8 u! y. p# d$ U9 p: a; h$ D4 t+ r% x7 c3 ^. j
print(p.search('one subclass is'))
% m2 \' c, R/ ~0 H: f2 y8 s% T1
, \7 F4 Z; Z7 |6 _1 J n23 _& l2 ~, Z- ]5 \) C8 h& D
3
& \+ d) D+ _, @! E. l7 M6 f0 h4
2 \! ]3 F1 k" V% _0 I j58 |7 p4 K8 f3 I8 f4 M1 f
6+ A* ^% ]! P" f- e2 M3 N* Q
结果如图:3 y! W+ R& v7 F% l" f8 x B
& z6 f$ |& i6 i6 E1 s
在使用这些特殊的序列的时候,有两点是需要注意的:
0 Y; l( m, A: H: n) Z( K5 q) L' Y) |5 E- m. }
第一点是,Python 的字符串跟正则表达式在有些字符上是有冲突的。比如说在 Python 中,\b 表示的是退格符(ASCII 码值是 8)。所以,你如果不使用原始字符串,Python 会将 \b 转换成退格符处理,这样就肯定跟你的预期不一样了。, r$ P/ ^8 Z) U0 i; J8 K( M6 ~- ^
相关原理和解决方法点击详情查看。0 S, |4 g4 _( D9 a2 ~2 q/ I
/ h9 Q7 H$ N; h( U# b: R第二点需要注意的是,在字符类中不能使用这个断言。跟 Python 一样,在字符类中,\b 只是用来表示退格符。; Z, c8 C E* [' h" g% K6 s
K, e" ?! b6 {, i
\B6 L' {2 i: W' ^1 w, K- Y
|" X+ E* X; K. g2 u
另一个零宽断言,与 \b 的含义相反,\B 表示非单词边界的位置。 P" O5 O! a- D; r
3 }( I8 w3 i7 h& H; y' l' H0 Q; D5 Q3. 正则表达式实例
5 ^3 J0 A7 ]( z3 l![]()
8 \ V+ B* ~" y% Z0 ?6 S+ L% D4 J$ ], d3 g" ~2 M% w- B
经典正则表达式实例+ J, z. f: Z; [9 `6 q
$ H" x* W! @1 A
匹配IP地址的正则表达式 ~. S+ K* E: I# X2 f
9 B% H1 V' k5 y ^
IP地址字符串形式的正则表达式(IP地址分分4段,每段0-255) \d+.\d+.\d+.\d+ \d{1,3}.\d{1,3}.\d{1,3}.\d{1,3} 不精确
' a$ I! i' @% b; W
5 {- }( `5 O$ r' w4 Z精确写法
4 @% v' _' X' J
9 f) E4 J) |' v! P5 X) `' V0--99: [1--9]?\d 100--199: 1\d{2} 200--249: 2[0--4]\d 250--255: 25[0--5]7 m. d$ p! p: D. z
(([1-9]?\d|1\d{2}|2[0--4]\d|25[0--5]).){3}([1--9]?\d|1\d{2}|2[0--4]\d|25[0--5])" Z/ e/ m* [3 l: V( v
原文链接:https://blog.csdn.net/qq_44867435/article/details/1051041772 i$ ` X* y# s( g Z' J, [2 b
* ^- G5 O$ E A. Z- J! T
# ?3 C* Q: _- m" D9 S
|
zan
|