时间:2021-05-22
动态页面的模拟点击:
以斗鱼直播为例:http:///directory/all/" self.driver = webdriver.PhantomJS() self.file_name = open("douyu.json", "w", encoding = "utf-8") def run(self): """ 爬虫开始工作 """ self.driver.get(self.url) # 循环处理每一页,直至最后一页 page = 1 start_flag = True while True: # 等待3秒,防止访问过于频繁 self.driver.implicitly_wait(3) print("正在处理第" + page + "页......") page += 1 # 解析 soup = BeautifulSoup(self.driver.page_source, "lxml") # 在线直播部分 online_live = soup.find_all('ul', {'id': 'live-list-contentbox'})[0] # 房间列表 live_list = online_live.find_all('li') # 处理每一个房间 for live in live_list: # 房间名、直播类型、主播名称、在线人数 # 房间名 home_name = live.find_all('h3', {'class': 'ellipsis'})[0].get_text().strip() # 直播类型 live_type = live.find_all('span', {'class': 'tag ellipsis'})[0].get_text().strip() # 主播名称 anchor_name = live.find_all('span', {'class': 'dy-name ellipsis fl'})[0].get_text().strip() # 在线人数 online_num = live.find_all('span', {'class' :'dy-num fr'})[0].get_text().strip() # print(home_name, live_type, anchor_name, online_num) item = {} item["房间名"] = home_name item["直播类型"] = live_type item["主播名称"] = anchor_name item["在线人数"] = online_num if start_flag: start_flag = False content = "[\n" + json.dumps(item) else: content = ",\n" + json.dumps(item) self.file_name.write(content) # page_source.find()未找到内容则返回-1 if self.driver.page_source.find('shark-pager-disable-next') != -1: # 已到最后一页 break # 模拟点击下一页 self.driver.find_element_by_class_name('shark-pager-next').click() # 爬虫结束前关闭文件 self.file_name.write("\n]") self.file_name.close()if __name__ == '__main__': douyu = DouyuSpider() douyu.run()
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
本文实例讲述了Python实现的爬虫刷回复功能。分享给大家供大家参考,具体如下:最近闲的无聊,就想着去看看爬虫,顺着爬虫顺利的做到了模拟登录、刷帖子等等,这里简
上篇文章给大家介绍了Python爬虫实现百度翻译功能过程详解Python爬虫学习之翻译小程序感兴趣的朋友点击查看。今天给大家介绍Python爬虫制作翻译程序的方
使用Python爬虫登录系统之后,能够实现的操作就多了很多,下面大致介绍下如何使用Python模拟登录。我们都知道,在前端的加密验证,只要把将加密环境还原出来,
这几天正好有需求实现一个爬虫程序,想到爬虫程序立马就想到了python,python相关的爬虫资料好像也特别多。于是就决定用python来实现爬虫程序了,正好发
这里向大家分享一下python爬虫的一些应用,主要是用爬虫配合简单的GUI界面实现视频,音乐和小说的下载器。今天就先介绍如何实现一个动态视频下载器。爬取电影天堂