python爬虫系列网络请求案例详解

时间:2021-05-22

学习了之前的基础和爬虫基础之后,我们要开始学习网络请求了。

先来看看urllib

urllib的介绍

urllib是Python自带的标准库中用于网络请求的库,无需安装,直接引用即可。
主要用来做爬虫开发,API数据获取和测试中使用。

urllib库的四大模块:

  • urllib.request: 用于打开和读取url
  • urllib.error : 包含提出的例外,urllib.request
  • urllib.parse:用于解析url
  • urllib.robotparser:用于解析robots.txt

案例

# 作者:互联网老辛# 开发时间:2021/4/5/0005 8:23import urllib.parsekw={'wd':"互联网老辛"}result=urllib.parse.urlencode(kw)print(result)#解码res=urllib.parse.unquote(result)print(res)

浏览器中会把互联网老辛,改成非中文的形式

我在浏览器中搜互联网老辛,然后把浏览中的复制下来:

https://'try: resp=urllib.request.urlopen(url)except urllib.error.URLError as e: print(e.reason)

可以看到捕获到了异常

网络请求我们已经学完了,后面我们将学习几个常用的库,之后就可以进行数据的爬取了。

到此这篇关于python爬虫系列网络请求案例详解的文章就介绍到这了,更多相关python爬虫网络请求内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!

声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。

相关文章