爬取代理IP及测试是否可用

很多人在爬虫时为了防止被封IP，所以就会去各大网站上查找免费的代理IP，由于不是每个IP地址都是有效的，如果要进去一个一个比对的话效率太低了，我也遇到了这种情况，所以就直接尝试了一下去网站爬取免费的代理IP，并且逐一的测试，最后将有效的IP进行返回。

在这里我选择的是89免费代理IP网站进行爬取，并且每一个IP都进行比对测试，最后会将可用的IP进行另存放为一个列表

https:////" for ip in list: try: rep = requests.get(url, proxies={'https': ip}, headers=header, timeout=0.5) if rep.status_code == 200: # 如果放回的状态码是200，那么说明该IP地址可用 valid_IP.append(ip) print("该代理IP有效：" + ip) else: print("该代理IP无效：" + ip) except: print("该代理IP无效：" + ip) except: print("IP测试失败")if __name__ == '__main__': valid_IP = [] # 有效IP地址 for i in range(1, 90): # 可自定义页数 ip_list = [] # 存放所有爬取到的ip url = "https://www.89ip.cn/index_" + str(i) + ".html" print(url) html = getHtml(url) getIp(html, ip_list) ip_text(ip_list, valid_IP) print("=" * 30) print("测试完成，有效IP如下:") print("-" * 30) for a in valid_IP: print(a) print("=" * 30)

到此这篇关于python爬取代理IP并进行有效的IP测试实现的文章就介绍到这了,更多相关python爬取代理IP内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！