时间:2021-05-26
一、前言
就在去年12月份,有个想法是使用node爬取微博的数据,于是简单的封装了一个nodeweibo这个库。时隔一年,没有怎么维护,中途也就将函数形式改成了配置文件。以前做的一些其他的项目也下线了,为了是更加专注前端 & node.js。偶尔看到下载量一天超过60多,持续不断的有人在用这个库,但是看下载量很少也就没有更新。但是昨天,有人pull request这个分支了,提出一些中肯的建议和有用的代码。于是就认真回顾了下nodeweibo,发布了v2.0.3这个版本。
二、什么是nodeweibo
nodeweibo:对weibo的API进行简单封装,你可以在Node里使用函数的形式调用微博API。
github项目地址:https://github.com/vczero/node-weibo
我这里截一张markdown的部分截图,具体的大家可以到https://github.com/vczero/node-weibo去看。
安装:npm install nodeweibo
三、支持的API
支持的API:https://github.com/vczero/node-weibo/blob/master/doc/api.md
目前基本支持所有的weiboAPI,以下是部分截图;感谢George Mason University的xizhonghua添加这份md。
四、demo
复制代码 代码如下:
var Weibo = require('../../nodeweibo'); // require('nodeweibo') also works if you have installed nodeweibo via npm
var setting = require('./setting.json'); // get setting (appKey, appSecret, etc.)
Weibo.init(setting);
Weibo.authorize();
// var jsonParas = {
// code:"the value of your browser's parameter code",
// grant_type:"authorization_code"
// };
// Weibo.OAuth2.access_token(jsonParas,function(data){
// console.log(data);
// });
// // set parameters
// var para = {
// "source": Weibo.appKey.appKey,
// "access_token": 'your access_token here'
// };
// // get public timeline
// Weibo.Statuses.public_timeline(para, function(data){
// console.log(data);
// });
五:总结
(1)当年发布一个package时,尽量将文档写全点,这样使用者就会更加方便;这是一种态度。
(2)既然有人使用这个package,就尽量花些时间维护这个package,今年年初,就有人问我如何使用的问题。
(3)学习他人的代码是一种乐趣;体会别人工作的方法是对工作效率的提升。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
博主作为爬虫初学者,本次使用了requests和beautifulsoup库进行数据的爬取爬取网站:http://datachart.500.com/dlt/h
微博热搜的爬取较为简单,我只是用了lxml和requests两个库url=https://s.weibo.com/top/summary?Refer=t
本文实例讲述了node实现的爬虫功能。分享给大家供大家参考,具体如下:node是服务器端的语言,所以可以像python一样对网站进行爬取,下面就使用node对博
python爬虫是程序员们一定会掌握的知识,练习python爬虫时,很多人会选择爬取微博练手。python爬虫微博根据微博存在于不同媒介上,所爬取的难度有差异,
More本项目仅供爬取体验,每次访问都会实时爬取数据,所以数据返回速度会比较慢,实际操作应该是定时爬取数据然后将数据存进数据库,数据从数据库返回从而提高数据返回