python 通过代理抓取数据

川长思鸟来 2022-06-08 06:20 594阅读 0赞

# 前言 #

> 有一些网站和数据，是不通过代理访问不到的（不管是不是正经的 :) ）。如何用Python抓取这些数据呢？

# 正文 #

## 1，设置代理 ##

因为我们的程序是在终端里执行，所以需要先设置一下：  
\- 设置在终端下能够使用代理  
\- 启用ss代理，且本地代理为`socks5://127.0.0.1:1080`

可以参考文章：[Make the python requests work via socks proxy on CentOS server][]

## 2，安装第三方库 ##

pip install requests
    pip install lxml
    pip install PySocks

## 3，抓取脚本 ##

import requests
    import ssl
    from urllib.request import urlretrieve
    import socket
    import socks
    
    def get_pic():
    
        # 设置代理
        socks.set_default_proxy(socks.SOCKS5, "127.0.0.1", 1080)
        socket.socket = socks.socksocket
    
    
        # 想要抓取的图片 重定向后的链接
        url = 'your-url'
    
        # 方法1
        ssl._create_default_https_context = ssl._create_unverified_context
        urlretrieve(url, 'my.jpg')
    
        # 方法2
        # session = requests.Session()
        # req = session.get(url)
        # with open('./my.jpg', 'wb') as f:
        # f.write(req.content)
        # f.flush()
    
    if __name__ == '__main__':
        get_pic()

# 4，其它方式 #

还有一种方式，是使用`支持SOCKS协议代理的requests`，方法请参考：　  
[python-requests socks5][]

参考：  
[Python中Request 使用socks5代理的两种方法(个人推荐方法二)][Python_Request _socks5]  
[python-requests socks5][]  
[Make the python requests work via socks proxy on CentOS server][]  
[requests 通过 socks5 ][requests _ socks5]  
[py脚本走代理][py]

[Make the python requests work via socks proxy on CentOS server]: http://liuxiaohui.net/2016/07/27/Make-the-python-requests-work-via-socks-proxy-on-CentOS-server.html
[python-requests socks5]: https://zhengheng.me/2016/08/25/python-requests-socks5/
[Python_Request _socks5]: https://doomzhou.github.io/coder/2015/03/09/Python-Requests-socks-proxy.html
[requests _ socks5]: http://docs.python-requests.org/zh_CN/latest/user/advanced.html#socks
[py]: https://segmentfault.com/a/1190000005081542