时间:2021-05-22
使用urllib的request模块,我们可以方便地实现请求的发送并得到响应,本节就来看下它的具体用法。
1. urlopen()
urllib.request模块提供了最基本的构造HTTP请求的方法,利用它可以模拟浏览器的一个请求发起过程,同时它还带有处理授权验证(authenticaton)、重定向(redirection)、浏览器Cookies以及其他内容。
下面我们来看一下它的强大之处。这里以Python官网为例,我们来把这个网页抓下来:
importurllib.requestresponse=urllib.request.urlopen('https://')print(response.read().decode('utf-8'))可以看到,这里调用load()方法来读取本地的Cookies文件,获取到了Cookies的内容。不过前提是我们首先生成了LWPCookieJar格式的Cookies,并保存成文件,然后读取Cookies之后使用同样的方法构建Handler和Opener即可完成操作。
运行结果正常的话,会输出百度网页的源代码。
通过上面的方法,我们可以实现绝大多数请求功能的设置了。
这便是urllib库中request模块的基本用法,如果想实现更多的功能,可以参考官方文档的说明:https://docs.python.org/3/library/urllib.request.html#basehandler-objects。
到此这篇关于Python3爬虫发送请求的知识点实例的文章就介绍到这了,更多相关Python3爬虫发送请求内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
本文实例形式讲解了Python3的条件与循环控制语句及其用法,是学习Python所必须掌握的重要知识点,现共享给大家供大家参考。具体如下:一般来说Python的
解决Python3控制台输出InsecureRequestWarning的问题问题:使用Python3requests发送HTTPS请求,已经关闭认证(veri
昨天带伙伴萌学习python爬虫,准备了几个简单的入门实例涉及主要知识点:web是如何交互的requests库的get、post函数的应用response对象的
现在网上有很多python2写的爬虫抓取网页图片的实例,但不适用新手(新手都使用python3环境,不兼容python2),所以我用Python3的语法写了一个
本文主要涉及python爬虫知识点:web是如何交互的requests库的get、post函数的应用response对象的相关函数,属性python文件的打开,