Python爬虫常用小技巧之设置代理IP

杨利霞

Python爬虫常用小技巧之设置代理IP

+ g) F+ m# k' h, z8 m! ^
设置代理IP的原因
4 w! j1 j( s- q# p& H1 m( Z我们在使用Python爬虫爬取一个网站时，通常会频繁访问该网站。假如一个网站它会检测某一段时间某个IP的访问次数，如果访问次数过多，它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作，每隔一段时间换一个代理，这样便不会出现因为频繁访问而导致禁止访问的现象。
! C. D" S$ e; f& ]/ \( D我们在学习Python爬虫的时候，也经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力，所以同一个IP反复爬取同一个网页，就很可能被封，所以下面这篇文章讲述一个爬虫技巧，设置代理IP
, J  b, H1 Q2 l9 g6 @' P代理的获取有很多方式，网上有很多免费的可以去爬取一些试试，但是免费的代理使用起来也是 很吃力的。还有就是现在网上有很多的代理供应商，可以在网上寻找下，然后找家靠谱的使用。毕竟网络太大了，代理供应商肯定也是参差不齐的，所以找到合适的代理还是需要花点时间的。在这里我就是使用了我们长期使用的一家质量好的代理，亿牛云代理，而且是使用的他们的爬虫代理（动态转发）和一般的api模式不一样。这种更简单更方便，对于懒人来说绝对是最佳选择。
具体代码的使用
#! -*- encoding:utf-8 -*-
1 A& Z( y9 R" K* _9 ?
        import requests
1 T, \/ W6 Q, z! m$ {! _* q3 D0 j        import random

        # 要访问的目标页面
( P: K( @* f, I5 o        targetUrl = "http://httpbin.org/ip"

% b8 h- B4 k& X5 f, S( @+ [        # 要访问的目标HTTPS页面
' U5 z! S: {0 m1 y2 l9 l8 {" r        # targetUrl = "https://httpbin.org/ip"
" a- l+ }! ~; y% u0 f2 O! p
" s3 P+ f  T. g        # 代理服务器
        proxyHost = "t.16yun.cn"
        proxyPort = "31111"
) E1 L8 s  n$ _; Y3 b/ S
3 L  L0 q$ x4 D" o& W% ]        # 代理隧道验证信息
        proxyUser = "username"
2 d* s  |' B0 C# \! C$ u5 @$ n        proxyPass = "password"

        proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
5 Y2 I$ f; Z6 U( Q7 n            "host" : proxyHost,
; k4 j4 e% L) g! x            "port" : proxyPort,
            "user" : proxyUser,
            "pass" : proxyPass,
6 ?6 V  Z4 U# {1 C# P" ^1 w        }
0 {, @7 X" Q0 }9 P8 z
        # 设置 http和https访问都是用HTTP代理
        proxies = {
. n0 g( T+ L" R4 N' e            "http"  : proxyMeta,
0 m" h  @3 W3 U3 W0 d/ G0 B; H            "https" : proxyMeta,
1 a' Y) W4 ~6 w, j4 q9 ^        }
* p& X) h8 l) \1 J6 G
! S. |: X' D: \+ {! g" W5 g
4 u- T! ^1 v$ d2 n$ x        #  设置IP切换头
: j7 b! H. C5 I4 Q% _        tunnel = random.randint(1,10000)
8 Q8 O  c1 s( ]& l9 x6 z% n' {        headers = {"Proxy-Tunnel": str(tunnel)}
( o9 u0 N$ G0 P) P; \8 ^        resp = requests.get(targetUrl, proxies=proxies, headers=headers)

0 _9 G) T9 m: |4 F        print resp.status_code
        print resp.text
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流
- x7 i) Q# D' [! D6 M5 x
" [+ |. a/ B8 y  \