使用nodejs爬取前程无忧前端技能排行

时间:2021-05-25

最近准备换工作,需要更新一下技能树。为做到有的放矢,想对招聘方的要求做个统计。正好之前了解过nodejs,所以做了个爬虫搜索数据。

具体步骤:

1. 先用fiddler分析请求需要的header和body。

2. 再用superagent构建上述数据发送客户端请求。

3. 最后对返回的数据使用cheerio整理。

折腾了几个晚上,只搞出了个架子,剩余工作等有时间再继续开发。

process.env.https_proxy = "http://127.0.0.1:8888";process.env.http_proxy = "http://127.0.0.1:8888";process.env.NODE_TLS_REJECT_UNAUTHORIZED = "0";var request = require('superagent'); //发送客户端请求require('superagent-proxy')(request); //使用代理发送请求var cheerio = require('cheerio'); //以jq类似的方法操作返回的字符,不需要用正则require('superagent-charset')(request);//node不支持gbk,gb2312,this will add request.Request.prototype.charset.var async = require('async'); //异步流控制模块var fs = require('fs');var ws = fs.createWriteStream('res.html',{flags:'w+'}); //a+追加的读写模式,w+覆盖var loginUrl = "https://login.51job.com/login.php";var searchUrl = "http://search.51job.com/jobsearch/search_result.php";var queryStrings = "fromJs=1&jobarea=020000&keyword=%E5%89%8D%E7%AB%AF%E5%BC%80%E5%8F%91&keywordtype=2&lang=c&stype=2&postchannel=0000&fromType=1&confirmdate=9";var loginForms = { lang: 'c', action: 'save', from_domain: 'i', loginname: '***', //自己的用户名和密码 password: '***', verifycode: '', isread: 'on'};var searchForms = { lang: 'c', stype: '2', postchannel: '0000', fromType: '1', line: '', confirmdate: '9', from: '', keywordtype: '2', keyword: '%E5%89%8D%E7%AB%AF%E5%BC%80%E5%8F%91', jobarea: '020000', industrytype: '', funtype: ''};var searchFormsString='lang=c&stype=2&postchannel=0000&fromType=1&line=&confirmdate=9&from=&keywordtype=2&keyword=%C7%B0%B6%CB%BF%AA%B7%A2&jobarea=020000&industrytype=&funtype=';var proxy0 = process.env.https_proxy;var proxy = process.env.http_proxy;const agent = request.agent(); //agent()方法产生的实例会保存cookie供后续使用request.post(loginUrl).proxy(proxy0).send(loginForms).end(function (err,res0) { agent.post(searchUrl) .proxy(proxy) //proxy()方法需紧跟在method方法之后调用,否则fiddler抓不到数据包 .type('application/x-www-form-urlencoded') .query(queryStrings)     //使用字符串格式 .send(searchFormsString) .charset('gbk') //通过charset可知编码字符格式,不设置会有乱码 .end(function (err, res) { var $ = cheerio.load(res.text); //res.text是返回的报文主体 async.each($('.el.title').nextAll('.el'), function(v, callback) { //将多余的内容删除,保留岗位、公司链接 $(v).prepend($(v).find('.t1 a')); $(v).find('.t1').remove(); ws.write($.html(v), 'utf8'); }, function(err) { console.log(err); }); console.log('successful'); })});//jquery内置document元素为root,cheerio需要通过load方法传入,然后用选择器查找指定元素,再执行相应操作。// $.html(el);静态方法,返回el元素的outerHtml//TODO// 1.当前只请求到一页数据,还需构建所有页数的请求列表// 2.向每条数据的岗位链接发送请求,获取技能关键字,存入文件中// 3.node中io操作是异步的,且没有锁的概念,如何并发地向同一个文件正确地写入数据

结果显示如下:

以上所述是小编给大家介绍的使用nodejs爬前程无忧前端技能排行,希望对大家有所帮助,如果大家有任何疑问欢迎给我留言,小编会及时回复大家的!

声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。

相关文章