爬虫的小伙伴,肯定经常遇到ip被封的情况,而现在网络上的代理ip免费的已经很难找了,那么现在就用python的requests库从爬取代理ip，创建一个ip代理池，以备使用。

本代码包括ip的爬取，检测是否可用，可用保存，通过函数get_proxies可以获得ip，如：{'HTTPS': '106.12.7.54:8118'}

下面放上源代码，并详细注释：

import requestsfrom lxml import etreefrom requests.packages import urllib3import random, time urllib3.disable_warnings() def spider(pages, max_change_porxies_times=300): """ 抓取 XiciDaili.com 的 http类型-代理ip-和端口号 将所有抓取的ip存入 raw_ips.csv 待处理, 可用 check_proxies() 检查爬取到的代理ip是否可用 ----- :param pages:要抓取多少页 :return:无返回 """ s = requests.session() s.trust_env = False s.verify = False urls =com/nn/{}' proxies = {} try_times = 0 for i in range(pages): url = urls.format(i + 1) s.headers = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', 'Accept-Encoding': 'gzip, deflate, br', 'Accept-Language': 'zh-CN,zh;q=0.9', 'Connection': 'keep-alive', 'Referer': urls.format(i if i > 0 else ''), 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36'} while True: content = s.get(url, headers=s.headers, proxies=proxies) time.sleep(random.uniform(1.5, 4)) # 每读取一次页面暂停一会,否则会被封 if content.status_code == 503: # 如果503则ip被封,就更换ip proxies = get_proxies() try_times += 1 print(f'第{str(try_times):0>3s}次变更,当前{proxies}') if try_times > max_change_porxies_times: print('超过最大尝试次数,连接失败!') return -1 continue else: break # 如果返回码是200 ,就跳出while循环,对爬取的页面进行处理 print(f'正在抓取第{i+1}页数据,共{pages}页') for j in range(2, 102): # 用简单的xpath提取http,host和port tree = etree.HTML(content.text) http = tree.xpath(f'//table[@id="ip_list"]/tr[{j}]/td[6]/text()')[0] host = tree.xpath(f'//table[@id="ip_list"]/tr[{j}]/td[2]/text()')[0] port = tree.xpath(f'//table[@id="ip_list"]/tr[{j}]/td[3]/text()')[0] check_proxies(http, host, port) # 检查提取的代理ip是否可用 def check_proxies(http, host, port, test_url='http://')

以上就是python爬虫构建代理ip池抓取数据库的示例代码的详细内容，更多关于python爬虫构建代理ip池的资料请关注其它相关文章！