1.安装pip

我的个人桌面系统用的linuxmint，系统默认没有安装pip，考虑到后面安装requests模块使用pip，所以我这里第一步先安装pip。

$ sudo apt install python-pip

安装成功，查看PIP版本：

$ pip -V

2.安装requests模块

这里我是通过pip方式进行安装：

$ pip install requests

运行import requests，如果没提示错误，那说明已经安装成功了！

检验是否安装成功

3.安装beautifulsoup4

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航，查找、修改文档的方式。Beautiful Soup会帮你节省数小时甚至数天的工作时间。

$ sudo apt-get install python3-bs4

注：这里我使用的是python3的安装方式，如果你用的是python2,可以使用下面命令安装。

$ sudo pip install beautifulsoup4

4.requests模块浅析

1）发送请求

首先当然是要导入 Requests 模块：

>>> import requests

然后，获取目标抓取网页。这里我以下为例：

>>> r = requests.get('https:///')>>> r.status_code200

5.案例演示

最近公司刚引入了一款OA系统，这里我以其官方说明文档页面为例，并且只抓取页面中文章标题和内容等有用信息。

演示环境

操作系统：linuxmint

python版本：python 3.5.2

使用模块：requests、beautifulsoup4

代码如下：

#!/usr/bin/env python# -*- coding: utf-8 -*-_author_ = 'GavinHsueh'import requestsimport bs4#要抓取的目标页码地址url = 'http://www.ranzhi.org/book/ranzhi/about-ranzhi-4.html'#抓取页码内容，返回响应对象response = requests.get(url)#查看响应状态码status_code = response.status_code#使用BeautifulSoup解析代码,并锁定页码指定标签内容content = bs4.BeautifulSoup(response.content.decode("utf-8"), "lxml")element = content.find_all(id='book')print(status_code)print(element)

程序运行返回爬去结果：

抓取成功

关于爬去结果乱码问题

其实起初我是直接用的系统默认自带的python2操作的，但在抓取返回内容的编码乱码问题上折腾了老半天，google了多种解决方案都无效。在被python2“整疯“之后，只好老老实实用python3了。对于python2的爬取页面内容乱码问题，欢迎各位前辈们分享经验，以帮助我等后生少走弯路。

后记

python的爬虫相关模块有很多，除了requests模块，再如urllib和pycurl以及tornado等。相比而言，我个人觉得requests模块是相对简单易上手的了。通过文本，大家可以迅速学会使用python的requests模块爬取页码内容。本人能力有限，如果文章有任何错误欢迎不吝赐教，其次如果大家有任何关于python爬去页面内容的疑难杂问，也欢迎和大家一起交流讨论。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。