时间:2021-05-22
相信大家在selenium爬取网页的时候都遇到过这样的问题:就是网页内容需要用鼠标滚动加载剩余内容,而不是一次全部加载出网页的全部内容,这个时候如果要模拟翻页的时候就必须加载出全部的内容,不然定位元素会找不到,出现报错。
这里提供两种方法供大家参考
一,通过selenium模拟浏览器,然后设置浏览器高度足够长,最后延时使之能够将页面的内容都能够加载出来
import timefrom selenium import webdriverdriver = webdriver.Firefox()driver.set_window_size(1000,30000)driver.get(url)time.sleep(5)二,通过selenium模拟浏览器下拉操作
from selenium import webdriverimport timebrowser.execute_script("window.scrollBy(0,3000)")time.sleep(1)browser.execute_script("window.scrollBy(0,5000)")time.sleep(1)browser.execute_script("window.scrollBy(0,8000)")time.sleep(1)补充知识:针对懒加载如何实现selenium 滑动至页面底部page_source一次性包含全部网页内容
有时网站使用了懒加载技术:只有在浏览器中纵向滚动条滚动到指定的位置时,页面的元素才会被动态加载。
注意,在加载之前,selenium的page_source是不会包含该页面的内容,page_source只包含加载出来的页面内容。
那么如何实现加载全部内容了,就需要模拟人滚动滚动条的行为,实现页面的加载
from selenium.webdriver.chrome.options import Optionsfrom selenium import webdriverfrom selenium.common.exceptions import TimeoutExceptionfrom selenium.webdriver.support.wait import WebDriverWaitfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support import expected_conditions as EC def scroll_until_loaded(self): check_height = self.browser.execute_script("return document.body.scrollHeight;") while True: self.browser.execute_script("window.scrollTo(0, document.body.scrollHeight);") try: self.wait.until(lambda driver: self.browser.execute_script("return document.body.scrollHeight;") > check_height) check_height = self.browser.execute_script("return document.body.scrollHeight;") except TimeoutException: break这里懒加载并不是一直有效, 当网速不好时,加载超过self.wait()时间, 页面还没加载出来时, 会认为全部加载完成, page_source里面的代码就会是以前加载出来的, 所以执行翻页操作后, 要执行time.sleep(3), 等待网页加载, 更新html再获取网页源代码
以上这篇浅谈selenium如何应对网页内容需要鼠标滚动加载的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
本文实例为大家分享了js瀑布流加载效果,动态加载图片,供大家参考,具体内容如下鼠标滚动事件,当鼠标滚动到下边,动态加载图片。1.HTML代码js实现瀑布流效果-
电脑在流量网页时,离不开鼠标上下滚动。有时希望鼠标滚动慢点,有时网页信息量大,又希望鼠标滚动快点,最好一次滚动一屏。这里就介绍怎样设置鼠标一次滚动一个屏幕:1、
实现jQuery根据滚动条位置加载相应的内容:向下滚动时当内容区域滚动到可视窗口高度的一半时,加载动画内容;向上滚动到相应的内容区域时也重新加载动画内容!1.实
scrapy框架只能爬取静态网站。如需爬取动态网站,需要结合着selenium进行js的渲染,才能获取到动态加载的数据。如何通过selenium请求url,而不
Ctrl+鼠标滚轮缩放代表网页缩放,如果不小心按到Ctrl键,此时滚动滚轮会导致网页缩放。可以按住CTRL键,再滚动一下鼠标滚轮,滑动几下,再滚动鼠标滚轮就恢复