爬虫增加代理机制

亦凉 2023-10-01 15:41 62阅读 0赞

可采集的站点：
    
    免费代理IP http://ip.yqie.com/ipproxy.htm
    66免费代理网 http://www.66ip.cn/
    89免费代理 http://www.89ip.cn/
    无忧代理 http://www.data5u.com/
    云代理 http://www.ip3366.net/
    快代理 https://www.kuaidaili.com/free/
    极速专享代理 http://www.superfastip.com/
    HTTP代理IP https://www.xicidaili.com/wt/
    小舒代理 http://www.xsdaili.com
    西拉免费代理IP http://www.xiladaili.com/
    小幻HTTP代理 https://ip.ihuan.me/
    全网代理IP http://www.goubanjia.com/
    飞龙代理IP http://www.feilongip.com/

新建IP.txt  
![在这里插入图片描述][1db75c4e81344790b2316296202faf4c.png]

{'http':'183.247.215.218:80'}

新建demo.py  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b635a6P5o-S55y85aSn6a2U546L_size_17_color_FFFFFF_t_70_g_se_x_16]

import requests
    import random
    # #
    # 打开文件，换行读取
    f = open("IP.txt", "r")
    file = f.readlines()
    
    # 遍历并分别存入列表，方便随机选取IP
    item = []
    for proxies in file:
            proxies = eval(proxies.replace('\n', '')) 
            item.append(proxies)
    
    proxies = random.choice(item)  # 随机选取一个IP
    print(proxies)
    
    # #
    response = requests.get("http://httpbin.org/ip",proxies=proxies)
    data=response.json()
    new=data['origin']

如果origin和你的代理IP一样则成功，报错可能是IP代理不能用了

[1db75c4e81344790b2316296202faf4c.png]: https://img-blog.csdnimg.cn/1db75c4e81344790b2316296202faf4c.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b635a6P5o-S55y85aSn6a2U546L_size_17_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/aa01c04535ef48648d71d163cacbeb2c.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5b635a6P5o-S55y85aSn6a2U546L,size_17,color_FFFFFF,t_70,g_se,x_16