时间:2021-05-22
大家好,前面入门已经说了那么多基础知识了,下面我们做几个实战项目来挑战一下吧。那么这次为大家带来,Python爬取糗事百科的小段子的例子。
首先,糗事百科大家都听说过吧?糗友们发的搞笑的段子一抓一大把,这次我们尝试一下用爬虫把他们抓取下来。
本篇目标
1.抓取糗事百科热门段子;
2.过滤带有图片的段子;
3.实现每按一次回车显示一个段子的发布时间,发布人,段子内容,点赞数。
糗事百科是不需要登录的,所以也没必要用到Cookie,另外糗事百科有的段子是附图的,我们把图抓下来图片不便于显示,那么我们就尝试过滤掉有图的段子吧。
好,现在我们尝试抓取一下糗事百科的热门段子吧,每按下一次回车我们显示一个段子。
1.确定URL并抓取页面代码
首先我们确定好页面的URL是 http://pile('<br/>')text=re.sub(replaceBR,"\n",item[1])#item[0]是一个段子的发布者,item[1]是内容,item[2]是发布时间,item[4]是点赞数pageStories.append([item[0].strip(),text.strip(),item[2].strip(),item[4].strip()])returnpageStories#加载并提取页面的内容,加入到列表中defloadPage(self):#如果当前未看的页数少于2页,则加载新一页ifself.enable==True:iflen(self.stories)<2:#获取新一页pageStories=self.getPageItems(self.pageIndex)#将该页的段子存放到全局list中ifpageStories:self.stories.append(pageStories)#获取完之后页码索引加一,表示下次读取下一页self.pageIndex+=1#调用该方法,每次敲回车打印输出一个段子defgetOneStory(self,pageStories,page):#遍历一页的段子forstoryinpageStories:#等待用户输入input=raw_input()#每当输入回车一次,判断一下是否要加载新页面self.loadPage()#如果输入Q则程序结束ifinput=="Q":self.enable=Falsereturnprintu"第%d页\t发布人:%s\t发布时间:%s\t赞:%s\n%s"%(page,story[0],story[2],story[3],story[1])#开始方法defstart(self):printu"正在读取糗事百科,按回车查看新段子,Q退出"#使变量为True,程序可以正常运行self.enable=True#先加载一页内容self.loadPage()#局部变量,控制当前读到了第几页nowPage=0whileself.enable:iflen(self.stories)>0:#从全局list中获取一页的段子pageStories=self.stories[0]#当前读到的页数加一nowPage+=1#将全局list中第一个元素删除,因为已经取出delself.stories[0]#输出该页的段子self.getOneStory(pageStories,nowPage)spider=QSBK()spider.start()
好啦,大家来测试一下吧,点一下回车会输出一个段子,包括发布人,发布时间,段子内容以及点赞数,是不是感觉爽爆了!
我们第一个爬虫实战项目介绍到这里,欢迎大家继续关注,小伙伴们加油!
以上就是Python爬虫爬取糗事百科段子实例分享的详细内容,更多关于Python爬虫爬取糗事百科段子的资料请关注其它相关文章!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
大家好,前面入门已经说了那么多基础知识了,下面我们做几个实战项目来挑战一下吧。那么这次为大家带来,Python爬取糗事百科的小段子的例子。首先,糗事百科大家都听
糗事百科怎么签到?糗事百科签到方法介绍。糗事百科是一款给大家打来快乐的软件,在糗事百科中各式各样好玩有趣的段子,让你爆笑不断,在糗事百科中还有签到功能,签到
糗事百科怎么发糗事?糗事百科发糗事方法。糗事百科是一款可以看很多糗事段子的娱乐平台,当然你也可以把自己身边的糗事发布出去,让更多人看到有有趣的事情,那么糗事
一步一步构建一个爬虫实例,抓取糗事百科的段子先不用beautifulsoup包来进行解析第一步,访问网址并抓取源码#-*-coding:utf-8-*-#@Au
多线程爬虫:即程序中的某些程序段并行执行,合理地设置多线程,可以让爬虫效率更高糗事百科段子普通爬虫和多线程爬虫分析该网址链接得出:https://pile(pa