Python爬虫headers处理及网络超时问题解决方案

时间:2021-05-23

1、请求headers处理

  我们有时请求服务器时,无论get或post请求,会出现403错误,这是因为服务器拒绝了你的访问,这时我们可以通过模拟浏览器的头部信息进行访问,这样就可以解决反爬设置的问题。

import requests# 创建需要爬取网页的地址url = 'https:///', timeout=0.5) # 打印状态码 print(response.status_code) # 超时异常 except ReadTimeout: print('timeout') # HTTP异常 except HTTPError: print('httperror') # 请求异常 except RequestException: print('reqerror')

结果:

200200200200200200200200200200200200200200200200200200200200200200200200200200200200200200200200200200200200200200200200200200200200200200200200200

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。

声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。

相关文章