时间:2021-05-22
driver.get("url")等到页面全部加载渲染完成后才会执行后续的脚本。
在执行脚本时,driver.get("url") ,如果当前的url页面内容较多加载特别慢,很费时间,但是我们需要操作的元素已经加载出来,可以将页面加载停掉,不影响后面的脚本执行,解决办法
设置页面加载timeout,get操作: try get except 脚本window.stop(), 使用GeckoDriver上有效果,
但是在ChromeDriver上还是会有问题,抛出异常timeout后续脚本不会继续执行
GeckoDriver执行具体如下:
访问百度贴吧某个获取其帖子总页数:
可以通过两种方式获取,简单的就是直接定位元素共11页
代码用定位尾页获取总页数
from selenium import webdriverimport re driver = webdriver.Firefox()#设定页面加载timeout时长,需要的元素能加载出来就行driver.set_page_load_timeout(20)driver.set_script_timeout(20)#try去gettry: driver.get("http://tieba.baidu.com/p/5659969529?red_tag=w0852861182")except: print("加载页面太慢,停止加载,继续下一步操作") driver.execute_script("window.stop()")last_page_element = driver.find_element_by_css_selector("li.l_pager.pager_theme_4.pb_list_pager >a:nth-child(12)") #定位到元素尾页元素#获取尾页页码链接文本text = last_page_element.get_attribute("href")all_page_num = re.search("\d+$",text).group() # 正则匹配到页码print("当前贴吧贴子总页数为:%s"%all_page_num)以上这篇解决Python selenium get页面很慢时的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
selenium+python,使用webdriver的截图函数get_screenshot_as_file()截图,代码如下:fromseleniumimpo
使用apt-get安装时,会很慢,更换了国内的源后,就可以解决这个问题了。1.备份sources.list文件sudocp/etc/apt/sources.li
使用Selenium驱动chrome页面,获得淘宝信息并用BeautifulSoup分析得到结果。使用Selenium时注意页面的加载判断,以及加载超时的异常处
使用python写爬虫时,优选selenium,由于PhantomJS因内部原因已经停止更新,最新版的selenium已经使用headlesschrome替换掉
Python安装selenium包打开命令行窗口,进入python交互环境python尝试导入selenium包,报错,说明尚未安装seleniumimport