Python爬虫爬取糗事百科段子实例分享

时间:2021-05-22

大家好,前面入门已经说了那么多基础知识了,下面我们做几个实战项目来挑战一下吧。那么这次为大家带来,Python爬取糗事百科的小段子的例子。

首先,糗事百科大家都听说过吧?糗友们发的搞笑的段子一抓一大把,这次我们尝试一下用爬虫把他们抓取下来。

本篇目标

1.抓取糗事百科热门段子;

2.过滤带有图片的段子;

3.实现每按一次回车显示一个段子的发布时间,发布人,段子内容,点赞数。

糗事百科是不需要登录的,所以也没必要用到Cookie,另外糗事百科有的段子是附图的,我们把图抓下来图片不便于显示,那么我们就尝试过滤掉有图的段子吧。

好,现在我们尝试抓取一下糗事百科的热门段子吧,每按下一次回车我们显示一个段子。

1.确定URL并抓取页面代码

首先我们确定好页面的URL是 http://pile('<br/>')text=re.sub(replaceBR,"\n",item[1])#item[0]是一个段子的发布者,item[1]是内容,item[2]是发布时间,item[4]是点赞数pageStories.append([item[0].strip(),text.strip(),item[2].strip(),item[4].strip()])returnpageStories#加载并提取页面的内容,加入到列表中defloadPage(self):#如果当前未看的页数少于2页,则加载新一页ifself.enable==True:iflen(self.stories)<2:#获取新一页pageStories=self.getPageItems(self.pageIndex)#将该页的段子存放到全局list中ifpageStories:self.stories.append(pageStories)#获取完之后页码索引加一,表示下次读取下一页self.pageIndex+=1#调用该方法,每次敲回车打印输出一个段子defgetOneStory(self,pageStories,page):#遍历一页的段子forstoryinpageStories:#等待用户输入input=raw_input()#每当输入回车一次,判断一下是否要加载新页面self.loadPage()#如果输入Q则程序结束ifinput=="Q":self.enable=Falsereturnprintu"第%d页\t发布人:%s\t发布时间:%s\t赞:%s\n%s"%(page,story[0],story[2],story[3],story[1])#开始方法defstart(self):printu"正在读取糗事百科,按回车查看新段子,Q退出"#使变量为True,程序可以正常运行self.enable=True#先加载一页内容self.loadPage()#局部变量,控制当前读到了第几页nowPage=0whileself.enable:iflen(self.stories)>0:#从全局list中获取一页的段子pageStories=self.stories[0]#当前读到的页数加一nowPage+=1#将全局list中第一个元素删除,因为已经取出delself.stories[0]#输出该页的段子self.getOneStory(pageStories,nowPage)spider=QSBK()spider.start()

好啦,大家来测试一下吧,点一下回车会输出一个段子,包括发布人,发布时间,段子内容以及点赞数,是不是感觉爽爆了!

我们第一个爬虫实战项目介绍到这里,欢迎大家继续关注,小伙伴们加油!

以上就是Python爬虫爬取糗事百科段子实例分享的详细内容,更多关于Python爬虫爬取糗事百科段子的资料请关注其它相关文章!

声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。

相关文章