python爬虫入门教程：爬取网页图片

杨利霞

python爬虫入门教程：爬取网页图片

在现在这个信息爆炸的时代，要想高效的获取数据，爬虫是非常好用的。而用python做爬虫也十分简单方便，下面通过一个简单的小爬虫程序来看一看写爬虫的基本过程：
; |9 q" L( v  D+ s: g8 K2 b; U
  C' N2 `, l8 g准备工作
语言：python

IDE：pycharm

首先是要用到的库，因为是刚入门最简单的程序，我们主要就用到下面这两：
7 i7 R( h- j0 S' _
import requests //用于请求网页
" x; Y6 L5 \& K) N$ R/ rimport re  //正则表达式，用于解析筛选网页中的信息
, R8 F! i% W* j# y( v" P' A其中re是python自带的，requests库需要我们自己安装，在命令行中输入pip install requests即可。

然后随便找一个网站，注意不要尝试爬取隐私敏感信息，这里找了个表情包网站：

8 J2 O/ d, g2 c# L7 e4 H: `  P注：此处表情包网站中的内容本来就可以免费下载，所以爬虫只是简化了我们一个个点的流程，注意不能去爬取付费资源。


5 ]( T' a5 x2 d- G
$ q1 n3 ^4 c1 V% m4 z8 G9 {, K9 z我们要做的就是通过爬虫把这些表情包下载到我们电脑里。
3 U" C2 j; U2 m& e
编写爬虫程序
+ X2 W! v8 W& n3 ^首先肯定要通过python访问这个网站，代码如下：
" I: A0 n2 w2 e: s) W
+ x, y: r/ L0 _1 m- Uheaders = {
) `1 s9 g* G& E/ [    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:98.0) Gecko/20100101 Firefox/98.0'
    }
: k, O8 n8 [5 X, @8 k0 ]2 rresponse = requests.get('https://qq.yh31.com/zjbq/',headers=headers)  //请求网页
其中之所以要加headers这一段是因为有些网页会识别到你是通过python请求的然后把你拒绝，所以我们要换个正常的请求头。可以随便找一个或者f12从网络信息里复制一个。



5 c1 M: U% u5 w! @- J2 C; m然后我们要找到我们要爬取的图片在网页代码里的位置，f12查看源代码，找到表情包如下：
) u; D  J$ `9 f( U( w


然后建立匹配规则，用正则表达式把中间那串替换掉，最简单的就是.*?
! w0 b5 t0 }" \  z
9 ]6 L  F/ i1 O5 h* p  Yt = '<img src="(.*?)" alt="(.*?)" width="160" height="120">'
像这样。

然后就可以调用re库里的findall方法把相关内容爬下来了：

$ o6 s8 R  f& f& J, c/ kresult = re.findall(t, response.text)
返回的内容是由字符串组成的列表，最后我们经由爬到的地址通过python语句把图片下下来保存到文件夹里就行了。

程序代码
! b$ |# Y* W3 x; Aimport requests
* z) [1 Q- h4 ^0 H1 Iimport re
0 O5 y9 K/ r9 I) U: V6 Wimport os

+ t0 {3 V$ H/ d5 I3 d' Y2 y2 o4 eimage = '表情包'
if not os.path.exists(image):
2 w% c! e4 B) g! ~9 D    os.mkdir(image)
# H1 A* \  f  I5 rheaders = {
% |9 Y  q% \7 H: a    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:98.0) Gecko/20100101 Firefox/98.0'
9 V4 m2 p  ~3 k5 ^) B    }
response = requests.get('https://qq.yh31.com/zjbq/',headers=headers)
  \: u9 u9 D+ T5 M' B0 U# L  Q. uresponse.encoding = 'GBK'
response.encoding = 'utf-8'
. _9 T/ C1 Y, i/ |; n- B: Aprint(response.request.headers)
$ v0 w1 p- B) _: g& _. j, C- P' M" Xprint(response.status_code)
; H# l! q# X2 g; U( j5 ht = '<img src="(.*?)" alt="(.*?)" width="160" height="120">'
result = re.findall(t, response.text)
% s* B! G' A! N/ N/ A# w/ }. Yfor img in result:
8 G& v" e1 ^7 p' \6 e; t% k; K    print(img)
    res = requests.get(img[0])
) a; j) x# _1 z2 K    print(res.status_code)
    s = img[0].split('.')[-1]  #截取图片后缀，得到表情包格式，如jpg ，gif
    with open(image + '/' + img[1] + '.' + s, mode='wb') as file:
" m& _, \# \+ Z, e# v        file.write(res.content)
最后结果就是这个样子：


————————————————
版权声明：本文为CSDN博主「plexming」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_46145027/article/details/123969044
2 i6 v' L& E4 O* ]9 W# f( _5 h) N