1.前言分析

往常都是利用 Python/.NET 语言实现爬虫，然现在作为一名前端开发人员，自然需要熟练 NodeJS。下面利用 NodeJS 语言实现一个糗事百科的爬虫。另外，本文使用的部分代码是 es6 语法。

实现该爬虫所需要的依赖库如下。

request: 利用 get 或者 post 等方法获取网页的源码。 cheerio: 对网页源码进行解析，获取所需数据。

本文首先对爬虫所需依赖库及其使用进行介绍，然后利用这些依赖库，实现一个针对糗事百科的网络爬虫。

2. request 库

request 是一个轻量级的 http 库，功能十分强大且使用简单。可以使用它实现 Http 的请求，并且支持 HTTP 认证， 自定请求头等。下面对 request 库中一部分功能进行介绍。

安装 request 模块如下：

在安装好 request 后，即可进行使用，下面利用 request 请求一下百度的网页。

克隆之后，进入项目目录，运行下面命令即可。

5. 总结

通过实现一个完整的爬虫功能，加深自己对 Node 的理解，且实现的部分语言都是使用 es6 的语法，让自己加快对 es6 语法的学习进度。另外，在这次实现中，遇到了 Node 的异步控制的知识，本文是采用的是 async 和 await 关键字，也是我最喜欢的一种，然而在 Node 中，实现异步控制有好几种方式。关于具体的方式以及原理，有时间再进行总结。