网站有反爬机制就爬不了数据？那是你不会【反】反爬！道高一尺魔高一丈啊！

杨利霞

网站有反爬机制就爬不了数据？那是你不会【反】反爬！道高一尺魔高一丈啊！

不知道你们在用爬虫爬数据的时候是否有发现，越来越多的网站都有自己的反爬机制，抓取数据已经不像以前那么容易，目前常见的反爬机制主要有以下几种：


数据是通过动态加载的，比如微博，今日头条，b站
需要登录，需要验证码，比如铁路12306，淘宝，京东
请求次数频繁，IP地址在同一时间访问次数过多，导致IP被封
数据屏蔽方式，比如访问的数据不在源码中，数据隐藏在js中，比如今日分享，b站
网站为什么要设置反爬机制？有两个原因，一是为了保护网站安全，减轻服务器压力，另一个原因则是保护网站数据安全。


爬虫技术者与反爬技术者一直以来就像是左右手互博，你有反爬机制，我就有反反爬技术，即见即可爬，道高一尺魔高一丈。






今天就为大家详细介绍网站的反爬虫机制和实用的应对方法，一般网站从三个方面反爬虫：


1.用户请求的Headers
2.用户行为
3.网站目录和数据加载方式


前两种比较容易遇到，大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用，这样增大了爬取的难度（防止静态爬虫使用ajax技术动态加载页面）。


1、从用户请求的Headers反爬虫。
这种是最常见的反爬机制，在访问某些网站的时候，网站通常会用判断访问是否带有头文件来鉴别该访问是否为爬虫，用来作为反爬取的一种策略。


那我们就需要伪装headers。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。


如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中；或者将Referer值修改为目标网站域名。


往往容易被忽略，通过对请求的抓包分析，确定referer，在程序中模拟访问请求头中添加。


对于检测Headers的反爬虫，在爬虫中修改或者添加Headers就能很好的绕过。


例如打开搜狐首页，先来看一下Chrome的头信息（F12打开开发者模式）如下：






如图，访问头信息中显示了浏览器以及系统的信息（headers所含信息众多，其中User-Agent就是用户浏览器身份的一种标识，具体可自行查询）


Python中urllib中的request模块提供了模拟浏览器访问的功能，代码如下：


from urllib import request


url = http://www. baidu.com
# page= requestRequest (url)
# page add header (' User-Agent',' Mozilla/5.0(Windows NT 10.0; Win64; x64) AppleWebki
headers ={'User-Agent': ' Mozilla/5.0(Windows NT 10.0; Win64; x64) AppleWebkit/537. 36'}
page = request Request(url, headersheaders)
page_info = request urlopen(page). read().decode('utf-8')
print(page_info)
1
2
3
4
5
6
7
8
9
可以通过add_header(key, value) 或者直接以参数的形式和URL一起请求访问


urllib.request Request()
urllib.request Request(url, data=None, headers={}, origin req host=None, unverifiable )
1
2
其中headers是一个字典，通过这种方式可以将爬虫模拟成浏览器对网站进行访问。






2、基于用户行为反爬虫
还有一部分网站是通过检测用户行为，例如同一IP短时间内多次访问同一页面，或者同一账户短时间内多次进行相同操作。


这种防爬，需要有足够多的ip来应对。


（1）大多数网站都是前一种情况，对于这种情况，使用IP代理就可以解决。可以专门写一个爬虫，爬取网上公开的代理ip，检测后全部保存起来。有了大量代理ip后可以每请求几次更换一个ip，这在requests或者urllib中很容易做到，这样就能很容易的绕过第一种反爬虫。


编写爬虫代理：


步骤：


1.参数是一个字典{‘类型’：‘代理ip：端口号’}
　　proxy_support=urllib.request.ProxyHandler({})
2.定制、创建一个opener
　　opener=urllib.request.build_opener(proxy_support)
3.安装opener
　　urllib.request.install_opener(opener)
4.调用opener
　　opener.open(url)


用大量代理随机请求目标网站，应对反爬虫


import urllib request
import random
import re


url='http://www. whatismyip. com. tw '
iplist=['121.193.143.249:88',"112.126.65.193:88',122.96.59.184:82',115.29.98.139:9]
        
proxy_support = urllib. request Proxyhandler({'httP': random choice(iplist)})
opener = urllib.request.build_opener(proxy_suppor)
opener.addheaders=[(' User-Agent, ' Mozilla/5.0(X11; Linux x86-64) AppleWebkit/537.36'
urllib.request.install_opener(opener)
response = urllib.request.urlopen(url)
html = response.read().decode(' utf-8)
                              
pattern = re.compile('<h1>(.*?)</h1>.*?<h2>(,*?)</h2>')
iterms=re.findall(pattern, html)
                              
for item in iterms:
    print(item[0]+:"+item[1])
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
（2）对于第二种情况，可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站，可以通过请求几次，退出登录，重新登录，继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。


对于账户做防爬限制，一般难以应对，随机几秒请求也往往可能被封，如果能有多个账户，切换使用，效果更佳。






3、动态页面的反爬虫
上述的几种情况大多都是出现在静态页面，还有一部分网站，我们需要爬取的数据是通过ajax请求得到，或者通过Java生成的。


解决方案：Selenium+PhantomJS


Selenium：自动化web测试解决方案，完全模拟真实的浏览器环境，完全模拟基本上所有的用户操作


PhantomJS ：一个没有图形界面的浏览器


比如获取淘宝的个人详情地址：


from selenium import webdriver
import time
import re


drive = webdriver.PhantomJs(executable_path = ' phantomjs-21.1-linux-x86 64/bin/phanto drive.get('https://mm. taobaocom/self/modelinfohtm? userid=189942305& iscoment=fal)


time. sleep(5)


pattern = re.compile(r'<div. *? mm-p-domain-info>*? class="mm-p-info-cell clearfix">.
html = drive.page_source.encode(' utf-8,' ignore')
items=re.findall(pattern, html)
for item in items:
        print(item[0], 'http':+item[1])
drive.close()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
4.总结
最后给大家总结一下前面所讲的反爬机制应对策略（反反爬）：


伪装浏览器


使用代理IP


抓包分析突破异步加载 / selenium自动化测试工具


添加cookie
————————————————
版权声明：本文为CSDN博主「退休的龙叔」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/zhiguigu/article/details/118226541