python爬虫入门教程：爬取网页图片

杨利霞

python爬虫入门教程：爬取网页图片

$ ?/ y! }& j( u) ^" F在现在这个信息爆炸的时代，要想高效的获取数据，爬虫是非常好用的。而用python做爬虫也十分简单方便，下面通过一个简单的小爬虫程序来看一看写爬虫的基本过程：
* l: @4 M' P& N, O  {! G
准备工作
" k% _8 d7 T" ^  B! l语言：python

IDE：pycharm
, p6 J8 M) O- C
- q' ^& |  U6 p0 ?  r首先是要用到的库，因为是刚入门最简单的程序，我们主要就用到下面这两：
) T" c" _( J8 x
import requests //用于请求网页
import re  //正则表达式，用于解析筛选网页中的信息
其中re是python自带的，requests库需要我们自己安装，在命令行中输入pip install requests即可。
- V+ ^- x8 z6 S" K
& e" G# Y) p+ z1 V" @9 C然后随便找一个网站，注意不要尝试爬取隐私敏感信息，这里找了个表情包网站：

注：此处表情包网站中的内容本来就可以免费下载，所以爬虫只是简化了我们一个个点的流程，注意不能去爬取付费资源。
) H& c! u. q' M& ]' T
; s; D+ o! \6 [# c$ ]' o
4 h% l4 v/ i+ v8 h# T/ Z! j5 T
我们要做的就是通过爬虫把这些表情包下载到我们电脑里。

+ s) ?1 V1 x; Y  a' \5 l+ H1 d编写爬虫程序
首先肯定要通过python访问这个网站，代码如下：
. B+ U- i* S& C' m% k$ F4 ?4 }
headers = {
. ~6 g0 m: ^5 w% E6 W* y  T" x    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:98.0) Gecko/20100101 Firefox/98.0'
    }
5 B: N" a' z4 sresponse = requests.get('https://qq.yh31.com/zjbq/',headers=headers)  //请求网页
! J- b, m) a5 z+ G7 b0 u其中之所以要加headers这一段是因为有些网页会识别到你是通过python请求的然后把你拒绝，所以我们要换个正常的请求头。可以随便找一个或者f12从网络信息里复制一个。
& c" u8 S5 o2 a* c1 h5 h

) ?$ F& O9 `) A7 L
然后我们要找到我们要爬取的图片在网页代码里的位置，f12查看源代码，找到表情包如下：
, @: R& Z, {% ~- c3 \' ~2 k
9 o4 m$ |# v  f

) ^" Z; B/ C9 S* Y/ Q6 G8 w, k 然后建立匹配规则，用正则表达式把中间那串替换掉，最简单的就是.*?
5 D8 T3 ]' ]9 X3 e4 C+ I
5 t1 v2 c5 ?* ?5 Y4 b) b1 p0 Ft = '<img src="(.*?)" alt="(.*?)" width="160" height="120">'
像这样。

然后就可以调用re库里的findall方法把相关内容爬下来了：
% z0 s  K2 {. }
% Z% @3 x% ^1 ~result = re.findall(t, response.text)
% v# w9 r: w2 t1 W6 Z  |1 f返回的内容是由字符串组成的列表，最后我们经由爬到的地址通过python语句把图片下下来保存到文件夹里就行了。
2 U* d! ^6 p4 t& q0 J
程序代码
import requests
import re
6 ^+ U) J' _( {6 }; O; T  w# Qimport os
9 D8 d1 Z8 W% j& t
image = '表情包'
* V" _5 @% R0 z4 L. B6 X* y1 Iif not os.path.exists(image):
    os.mkdir(image)
9 s# a3 q$ f6 p' nheaders = {
. t. T9 v0 i; ?; p9 z. W    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:98.0) Gecko/20100101 Firefox/98.0'
  l* r$ s. M  k7 O9 y3 P% {: A    }
5 i& u; a" E7 C# }' S6 |response = requests.get('https://qq.yh31.com/zjbq/',headers=headers)
response.encoding = 'GBK'
response.encoding = 'utf-8'
* m8 X) p4 |% e7 G; Z. E: Hprint(response.request.headers)
( T' l7 K/ K: T/ `0 I7 u- yprint(response.status_code)
6 Q7 {# ]8 Y' c& v- B) nt = '<img src="(.*?)" alt="(.*?)" width="160" height="120">'
( A. I# j2 F1 C/ y3 mresult = re.findall(t, response.text)
for img in result:
! Z6 p% B4 Q* o& B. d    print(img)
' |' ?- g3 p2 D5 o+ v, l; b) f    res = requests.get(img[0])
+ R4 t- R$ ?1 ~, b0 |, X3 h4 Z    print(res.status_code)
9 d( z3 k% |+ z# F% Q  Z    s = img[0].split('.')[-1]  #截取图片后缀，得到表情包格式，如jpg ，gif
    with open(image + '/' + img[1] + '.' + s, mode='wb') as file:
( z7 f' a4 B* g, D4 M        file.write(res.content)
最后结果就是这个样子：
2 B: ]3 l+ T. W. i9 L
/ {% j' M. B! R/ a2 A
————————————————
; a; m* |: ]4 a5 {! M* V版权声明：本文为CSDN博主「plexming」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
/ i7 I. m( z  e, X原文链接：https://blog.csdn.net/qq_46145027/article/details/123969044
" E3 Y( \( l7 I