Python爬虫常用小技巧之设置代理IP

杨利霞

8 M  v. ?; T) o4 \

Python爬虫常用小技巧之设置代理IP

, z- \, K* J" z0 R: m& P
设置代理IP的原因
7 T2 H1 [2 n5 R( b+ d0 l我们在使用Python爬虫爬取一个网站时，通常会频繁访问该网站。假如一个网站它会检测某一段时间某个IP的访问次数，如果访问次数过多，它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作，每隔一段时间换一个代理，这样便不会出现因为频繁访问而导致禁止访问的现象。
我们在学习Python爬虫的时候，也经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力，所以同一个IP反复爬取同一个网页，就很可能被封，所以下面这篇文章讲述一个爬虫技巧，设置代理IP
代理的获取有很多方式，网上有很多免费的可以去爬取一些试试，但是免费的代理使用起来也是 很吃力的。还有就是现在网上有很多的代理供应商，可以在网上寻找下，然后找家靠谱的使用。毕竟网络太大了，代理供应商肯定也是参差不齐的，所以找到合适的代理还是需要花点时间的。在这里我就是使用了我们长期使用的一家质量好的代理，亿牛云代理，而且是使用的他们的爬虫代理（动态转发）和一般的api模式不一样。这种更简单更方便，对于懒人来说绝对是最佳选择。
具体代码的使用
#! -*- encoding:utf-8 -*-

1 I3 `; Q( o3 K5 p8 \) t        import requests
        import random

        # 要访问的目标页面
        targetUrl = "http://httpbin.org/ip"
/ }9 [4 V0 _& D8 [
        # 要访问的目标HTTPS页面
. A5 ~6 F' h. d6 n. ^% d& G        # targetUrl = "https://httpbin.org/ip"

        # 代理服务器
( L1 E1 [! Z: g7 x* k        proxyHost = "t.16yun.cn"
        proxyPort = "31111"
) q9 c. o- j; k( N: W
        # 代理隧道验证信息
        proxyUser = "username"
        proxyPass = "password"
6 Z3 T  A* k; u5 _3 ~# ]. ^
( A. d  B$ p5 n5 D& t        proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
7 h" ~. v( j/ i5 @" |$ J+ p! H            "host" : proxyHost,
            "port" : proxyPort,
7 r3 O% K* w* [1 q$ K0 J            "user" : proxyUser,
0 f1 Y, ^$ N; s, ]) T$ v7 j' j( d5 p            "pass" : proxyPass,
; L: R+ y' s& d6 [; A$ p9 O        }
. [( q1 Y" R! }9 a, P, T
        # 设置 http和https访问都是用HTTP代理
8 ]8 ^% r. I; J& B3 P( m# {        proxies = {
  R+ m& X- N! @& u/ n' U; [            "http"  : proxyMeta,
            "https" : proxyMeta,
- B( J; @. z5 c% j        }
/ b0 v9 w$ x6 \' m0 y" }6 U# O

        #  设置IP切换头
        tunnel = random.randint(1,10000)
2 h, |0 q* l: f: b        headers = {"Proxy-Tunnel": str(tunnel)}
* ]# ]3 I, I: V. r: ?        resp = requests.get(targetUrl, proxies=proxies, headers=headers)

        print resp.status_code
$ U4 i2 X) \/ Z( J* c% [& J( z        print resp.text
: ?) r) R( x3 e3 S5 ]$ o总结
( t7 D1 I0 h6 i) b2 G* W' u( k以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流

/ E' ~% `: _2 k- i8 B) ]. d