本文实例讲述了node实现的爬虫功能。分享给大家供大家参考，具体如下：

node是服务器端的语言，所以可以像python一样对网站进行爬取，下面就使用node对博客园进行爬取，得到其中所有的章节信息。

第一步： 建立crawl文件，然后npm init。

第二步：建立crawl.js文件，一个简单的爬取整个页面的代码如下所示：

var http = require("http");var url = "http://";function filterData(html) { var $ = cheerio.load(html); var items = $(".post_item"); var result = []; items.each(function (item) { var tit = $(this).find(".titlelnk").text(); var aut = $(this).find(".lightblue").text(); var one = { title: tit, author: aut }; result.push(one); }); return result;}function printInfos(allInfos) { allInfos.forEach(function (item) { console.log("文章题目 " + item["title"] + '\n' + "文章作者 " + item["author"] + '\n'+ '\n'); });}http.get(url, function (res) { var html = ""; res.on("data", function (data) { html += data; }); res.on("end", function (data) { var allInfos = filterData(html); printInfos(allInfos); });}).on("error", function () { console.log("爬取博客园首页失败")});

即上面的过程就是在爬取博客的题目和作者。

最终后台输出如下：

这和博客园首页的内容是一致的：

希望本文所述对大家nodejs程序设计有所帮助。