时间:2021-05-22
这篇文章主要介绍了Python3如何对urllib和urllib2进行重构,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
python3对urllib和urllib2进行了重构,拆分成了urllib.request,urllib.response, urllib.parse, urllib.error等几个子模块,这样的架构从逻辑和结构上说更加合理。urllib库无需安装,python3自带。python 3.x中将urllib库和urilib2库合并成了urllib库。 其中
代码如下
import urllib.requestimport http.cookiejarurl ="http://"print ('第一种方法')response1=urllib.request.urlopen(url)print (response1.getcode())print (len(response1.read()))print ('第二种方法')request=urllib.request.Request(url)request.add_header("user-agent","Mozilla/5.0")#将爬虫伪装成浏览器response2=urllib.request.urlopen(request)print (response2.getcode())#打印状态码print (len(response2.read()))#打印内容长度print ('第三种方法')cj = http.cookiejar.CookieJar()opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))urllib.request.install_opener(opener)response3=urllib.request.urlopen(url)print (response1.getcode())print (cj) #输出cookieprint (response1.read())以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
一、urllib和urllib2的关系在python2中,主要使用urllib和urllib2,而python3对urllib和urllib2进行了重构,拆分成
urllib3是一款Python3的HTTP客户端。Python标准库提供了urllib。在Python2中,另外提供了urllib2;而在Python3中,重
在python3中,urllib2被替换为urllib.requeset,因此头文件中添加importurllib.requestasurllib2defget
python2中的urllib2改为python3中的urllib.request四种方式对比:python2的get#coding=utf-8importur
首先,我们来看一个Python抓取网页的库:urllib或urllib2。那么urllib与urllib2有什么区别呢?可以把urllib2当作urllib的扩