时间:2021-05-19
前言
需要提前说下的是,由于今日头条的文章的特殊性,所以无法直接获取文章的地址,需要获取文章的id然后在拼接成url再访问。下面话不多说了,直接上代码。
示例代码如下
public class Demo2 { public static void main(String[] args) { // 需要爬的网页的文章列表 String url = "http:///group/"; //链接到该网站 Connection connection = Jsoup.connect(url); Document content = null; try { //获取内容 content = connection.get(); } catch (IOException e) { e.printStackTrace(); } //转换成字符串 String htmlStr = content.html(); //因为今日头条的文章展示比较奇葩,都是通过js定义成变量,所以无法使用获取dom元素的方式获取值 String jsonStr = StringUtils.substringBetween(htmlStr,"var _data = ", ";"); System.out.println(jsonStr); Map parse = (Map) JSONObject.parse(jsonStr); JSONArray parseArray = (JSONArray) parse.get("real_time_news"); Map map=null; List<Map> maps=new ArrayList<>(); //遍历这个jsonArray,获取到每一个json对象,然后将其转换成Map对象(在这里其实只需要一个group_id,那么没必要使用map) for(int i=0;i<parseArray.size();i++){ map = (Map)parseArray.get(i); maps.add((Map)parseArray.get(i)); System.out.println(map.get("group_id")); } //遍历之前获取到的map集合,然后分别访问这些文章详情页 for (Map map2 : maps) { connection = Jsoup.connect(url2+map2.get("group_id")); try { Document document = connection.get(); //获取文章标题 Elements title = document.select("[class=article-title]"); System.out.println(title.html()); //获取文章来源和文章发布时间 Elements articleInfo = document.select("[class=articleInfo]"); Elements src = articleInfo.select("[class=src]"); System.out.println(src.html()); Elements time = articleInfo.select("[class=time]"); System.out.println(time.html()); //获取文章内容 Elements contentEle = document.select("[class=article-content]"); System.out.println(contentEle.html()); } catch (IOException e) { e.printStackTrace(); } } }}总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
使用python爬虫库requests,urllib爬取今日头条街拍美图代码均有注释importre,json,requests,osfromhashlibim
愈来愈多的人到今日头条里边广告投放,那麼今日头条信息流是啥,在哪儿展现,及其今日头条投广告宣传如何收费标准呢? 1、今日今日头条信息流是啥? 今日今日头
相信大伙儿应当都了解今日今日头条,今日今日头条它是一种新闻报道类的手机软件,可是不清楚大伙儿听没听闻如今今日今日头条上能够开实体店了。要想去今日今日头条开实体店
11月15日消息,在今日头条生机大会上,朱文佳以今日头条CEO的身份进行开场演讲。也就意味着今日头条CEO由陈林更换成朱文佳。此前有报道程,今日头条App的新晋
1.通过今日头条引流卖家可以注册一个今日头条自媒体帐号,申请成为广告主后,就可以今日头条上推广自己的淘宝店铺了,卖家们也可以在今日头条的文章中,插入自己的淘宝店