时间:2021-05-22
有些网址具有IP限制,比如同一个IP一天只能点赞一次。
解决方法就是更换代理IP。
从哪里获得成千上万的IP呢? 百度“http代理” 可获得一大堆网站。
比如某代理网站,1天6元,可以无限提取。
把提取的IP,保存到txt文件中。
写一个方法,读取文件,存入数组中
def getProxysFromFile(): with open("proxy.txt", "r") as f: l = f.readlines() return l比如执行某任务,传入单个代理IP+PORT
def run(proxy): try: print("proxy:{}".format(proxy)) s=requests.Session() proxies={ "http": "http://{}".format(proxy.strip()), "https":"https://{}".format(proxy.strip()) } header={ "Host":"/data/dz?uid=199&ztype=1",headers=header,proxies=proxies,timeout=4) rc=ret.content.decode("utf-8") print(rc) if "成功" in rc: global count count+=1 print(count) except: pass接下来就是调度,简单写了个调度,比如每隔5秒钟,启动100个线程去执行。(这里为了简单,在上面的run中设置了超时时间为4秒,所以能保证不会导致启动的线程太多未完成卡死)
if __name__ == '__main__': count=1 l=getProxysFromFile() while True: for i in range(100): try: t=threading.Thread(target=run,args=(l.pop(),)) t.start() except: pass time.sleep(5)效果如下,速度还是很快的。
以上这篇python requests更换代理适用于IP频率限制的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
功能1:爬取西拉ip代理官网上的代理ip环境:python3.8+pycharm库:requests,lxml浏览器:谷歌IP地址:http://',heade
爬虫的小伙伴,肯定经常遇到ip被封的情况,而现在网络上的代理ip免费的已经很难找了,那么现在就用python的requests库从爬取代理ip,创建一个ip代理
自己写的方法,适用于linux,#!/usr/bin/python#coding=utf-8importsysimportos,os.pathimportdir
如何给电脑指定ip地址?本文档适用于需要给电脑指定ip地址,dns的用户适用类型:无线路由器问题分类:设置上网XP系统指定ip地址:>>Win7系统指定ip地址
这个方法是通用的,不仅仅适用于EditText,也适用于TextView、AutoCompleteTextView等控件。Google官方API并没有给出一个直