时间:2021-05-22
还是分析一下大体的流程:
首先还是Chrome浏览器抓包分析元素,这是网址:https:///directory/all' self.driver = webdriver.Chrome() def get_content_list(self): time.sleep(10) # 强制等待10秒,否则可能报错 li_list = self.driver.find_elements_by_xpath('//ul[@class="layout-Cover-list"]/li') content_list = [] for li in li_list: item = {} item['room_img'] = li.find_element_by_xpath('.//img[@class="DyImg-content is-normal "]').get_attribute('src') item['room_title'] = li.find_element_by_xpath('.//h3[@class="DyListCover-intro"]').text item['root_category'] = li.find_element_by_xpath('.//span[@class="DyListCover-zone"]').text item['author_name'] = li.find_element_by_class_name('DyListCover-user').text item['watch_num'] = li.find_element_by_class_name('DyListCover-hot').text content_list.append(item) print(item) # 打印每次获取到的直播房间的信息 # 获取下一页的元素,为了防止没有报错,这里用elements,翻到最后一页一定就没有了,返回一个列表 next_url = self.driver.find_elements_by_xpath('//li[@class=" dy-Pagination-next"]') next_url = next_url[0] if len(next_url) > 0 else None return content_list, next_url def save_content_list(self, content_list): pass # 保存数据这里就不再做演示 def run(self): # 实现主要逻辑 # 1.start_url # 2.发送请求,获取响应 self.driver.maximize_window() self.driver.get(self.start_rul) # 3.提取数据,提取下一页的元素 content_list, next_url = self.get_content_list() # 4.保存数据 self.save_content_list(content_list) # 4.点击下一页元素,循环 while next_url is not None: next_url.click() content_list, next_url = self.get_content_list() self.save_content_list(content_list)if __name__ == '__main__': douban = DouyuSpider() douban.run()
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
本文实例讲述了Python使用Selenium模块模拟浏览器抓取斗鱼直播间信息。分享给大家供大家参考,具体如下:importtimefrommultiproce
为了分析深圳市所有长租、短租公寓的信息,爬取了某租房公寓网站上深圳区域所有在租公寓信息,以下记录了爬取过程以及爬取过程中遇到的问题:爬取代码:importreq
之前写了个python脚本用selenium+phantomjs爬新帖子,在循环拉取页面的过程中,phantomjs总是block住,使用WebDriverWa
Python爬虫不仅仅可以爬取静态网页,也可以爬取抓取动态网页。但是新版的Selenium不支持PhantomJS,无法进行动态网页的爬取,因此要放弃Phant
本文实例讲述了Python进阶之使用selenium爬取淘宝商品信息功能。分享给大家供大家参考,具体如下:#encoding=utf-8__author__='