一、urllib 和 urllib2的关系

在python2中，主要使用urllib和urllib2，而python3对urllib和urllib2进行了重构，拆分成了urllib.request, urllib.parse, urllib.error，urllib.robotparser等几个子模块，这样的架构从逻辑和结构上说更加合理。urllib库无需安装，python3自带。python 3.x中将urllib库和urilib2库合并成了urllib库。

urllib2.urlopen() 变成了 urllib.request.urlopen()
urllib2.Request() 变成了 urllib.request.Request()
python2中的 cookielib 改为 http.cookiejar.
import http.cookiejar 代替 import cookielib
urljoin 现在对应的函数是 urllib.parse.urljoin

二、python3下的urllib库

• request，它是最基本的 HTTP 请求模块，我们可以用它来模拟发送一请求，只需要给库方法传入 URL 还有额外的参数，就可以模拟实现这个过程了。
• error ，即异常处理模块，如果出现请求错误，我们可以捕获这些异常，然后进行重试或其他操作保证程序不会意外终止。
• parse ，是一个工具模块，提供了许多 URL 处理方法，比如拆分、解析、合并等等的方法。
• robotparser，主要是用来识别网站的 robots.txt 文件，然后判断哪些网站可以爬，哪些网站不可以爬的，其实用的比较少。

三、request的基础类

（一）request.urlopen

urlopen方法最主要的参数就是目标网站的url地址，可以使str类型，也可以是一个request对象。

get方法请求如下：

以上就是python爬虫基础之urllib的使用的详细内容，更多关于python 爬虫urllib的资料请关注其它相关文章！