第一种方法

headers = Dict()url = 'https://", "Upgrade-Insecure-Requests": "1", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36" } response = requests.get(url,headers=headers,timeout=10,verify=False) html = etree.HTML(response.text) # print(html) result = etree.tostring(html) # print(result) print(result.decode("utf-8")) title = html.xpath('//head/title/text()')[0] print("title==",title) if "左左" in title: # print(response.status_code) # if response.status_code ==200: break return title except: result = "异常" return resultif __name__ == '__main__': print(get_xiaomi())

第六种方法

Python重试模块retrying

# 设置最大重试次数@retry(stop_max_attempt_number=5)def get_proxies(self): r = requests.get('代理地址') print('正在获取') raise Exception("异常") print('获取到最新代理 = %s' % r.text) params = dict() if r and r.status_code == 200: proxy = str(r.content, encoding='utf-8') params['http'] = 'http://' + proxy params['https'] = 'https://' + proxy# 设置方法的最大延迟时间，默认为100毫秒(是执行这个方法重试的总时间)@retry(stop_max_attempt_number=5,stop_max_delay=50)# 通过设置为50，我们会发现，任务并没有执行5次才结束！# 添加每次方法执行之间的等待时间@retry(stop_max_attempt_number=5,wait_fixed=2000)# 随机的等待时间@retry(stop_max_attempt_number=5,wait_random_min=100,wait_random_max=2000)# 每调用一次增加固定时长@retry(stop_max_attempt_number=5,wait_incrementing_increment=1000)# 根据异常重试，先看个简单的例子def retry_if_io_error(exception): return isinstance(exception, IOError)@retry(retry_on_exception=retry_if_io_error)def read_a_file(): with open("file", "r") as f: return f.read()

read_a_file函数如果抛出了异常，会去retry_on_exception指向的函数去判断返回的是True还是False，如果是True则运行指定的重试次数后，抛出异常，False的话直接抛出异常。

当时自己测试的时候网上一大堆抄来抄去的，意思是retry_on_exception指定一个函数，函数返回指定异常，会重试，不是异常会退出。真坑人啊！

来看看获取代理的应用(仅仅是为了测试retrying模块)

到此这篇关于python爬虫多次请求超时的几种重试方法的文章就介绍到这了,更多相关python爬虫多次请求超时内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！