python爬虫入门教程：爬取网页图片

杨利霞

python爬虫入门教程：爬取网页图片
- l1 h1 t: ]& H  a5 F3 M# ]
4 t, `# G* ~9 O$ \6 O% X0 j- Z5 z3 V  q在现在这个信息爆炸的时代，要想高效的获取数据，爬虫是非常好用的。而用python做爬虫也十分简单方便，下面通过一个简单的小爬虫程序来看一看写爬虫的基本过程：

9 Z) [; N+ h8 [6 j9 W5 P准备工作
语言：python
& w. x' t* `$ t* i5 ^
IDE：pycharm

首先是要用到的库，因为是刚入门最简单的程序，我们主要就用到下面这两：

" E7 r: Z( \( o5 f/ H: Oimport requests //用于请求网页
( }- Z: Q2 N: R2 Bimport re  //正则表达式，用于解析筛选网页中的信息
其中re是python自带的，requests库需要我们自己安装，在命令行中输入pip install requests即可。

, N$ i5 j. J4 o+ C然后随便找一个网站，注意不要尝试爬取隐私敏感信息，这里找了个表情包网站：

0 @0 ^" f! b: s4 Z& v8 z5 x4 ~8 z注：此处表情包网站中的内容本来就可以免费下载，所以爬虫只是简化了我们一个个点的流程，注意不能去爬取付费资源。
# S, b* Y1 W$ j* e  o6 E

: R" f: ~  ?/ m$ g
, G/ J2 X1 |3 B5 n8 N我们要做的就是通过爬虫把这些表情包下载到我们电脑里。
" r# b9 r) s9 q8 C6 x
. t- W% C( b5 ?* L2 C编写爬虫程序
首先肯定要通过python访问这个网站，代码如下：

3 m% R% W8 e4 }. S/ L- aheaders = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:98.0) Gecko/20100101 Firefox/98.0'
    }
, f" D  y: ?- oresponse = requests.get('https://qq.yh31.com/zjbq/',headers=headers)  //请求网页
其中之所以要加headers这一段是因为有些网页会识别到你是通过python请求的然后把你拒绝，所以我们要换个正常的请求头。可以随便找一个或者f12从网络信息里复制一个。
3 ^9 @/ u! v* S& w/ p( `0 C

! \8 [! X% T' r0 p' e- c2 I
然后我们要找到我们要爬取的图片在网页代码里的位置，f12查看源代码，找到表情包如下：

' N) O2 p5 P* j6 l$ T# Y
8 n0 Y( h7 b8 R
" o4 l4 q, Z' t8 n8 Q* P4 g7 ~4 o 然后建立匹配规则，用正则表达式把中间那串替换掉，最简单的就是.*?
+ x1 z) m% C1 T
t = '<img src="(.*?)" alt="(.*?)" width="160" height="120">'
0 r  A) s2 H( e" l 像这样。
1 x; ]6 E: H9 ~, p2 |( q# h
/ Y$ L, }8 O3 G8 N然后就可以调用re库里的findall方法把相关内容爬下来了：
7 G# Z. v8 m. _; g
result = re.findall(t, response.text)
返回的内容是由字符串组成的列表，最后我们经由爬到的地址通过python语句把图片下下来保存到文件夹里就行了。

# n/ d7 @) O0 H1 `( u程序代码
5 ?, H2 N! k& G( ?import requests
2 v9 Z; g8 l9 rimport re
. G* q" [6 a  Eimport os

image = '表情包'
4 x8 j5 a6 D. b$ y7 o  |( L4 rif not os.path.exists(image):
7 i# S7 ]  g3 y. u% {    os.mkdir(image)
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:98.0) Gecko/20100101 Firefox/98.0'
    }
! a: _/ ~6 [, |, k3 L, u+ Bresponse = requests.get('https://qq.yh31.com/zjbq/',headers=headers)
response.encoding = 'GBK'
response.encoding = 'utf-8'
0 Y0 Q# i  L+ `print(response.request.headers)
  j& Z  b' G. K4 \0 j# p$ Z3 N0 A7 Gprint(response.status_code)
t = '<img src="(.*?)" alt="(.*?)" width="160" height="120">'
9 g# R4 P$ N. G0 S/ ?3 V0 z& uresult = re.findall(t, response.text)
for img in result:
! G6 s+ J8 @8 W% Z+ C    print(img)
5 `( V, }6 z$ q& L. g    res = requests.get(img[0])
7 f) W* q3 m5 |* J) H' f' Q1 R    print(res.status_code)
    s = img[0].split('.')[-1]  #截取图片后缀，得到表情包格式，如jpg ，gif
    with open(image + '/' + img[1] + '.' + s, mode='wb') as file:
7 Q2 I1 p( u3 U: B        file.write(res.content)
$ R- v  K8 T( u. W2 H# D最后结果就是这个样子：
, |5 a4 t& P$ @# O* L% U
; U* O' f$ y: J% b6 ]
0 P6 |8 r+ M& {; C/ S/ e————————————————
版权声明：本文为CSDN博主「plexming」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
$ o7 p9 b9 M! E/ s; E4 i* W2 A原文链接：https://blog.csdn.net/qq_46145027/article/details/123969044
8 S  g' U: i6 A4 I7 k
) f) J# k# ^+ o
' z" }! v" N& [/ M