时间:2021-05-23
从 gif 直观地感受一下效果
我有大量 url 需要访问,但是有些 url 会超时
为了避免超时,设置driver.set_page_load_timeout(3)限时3秒,一旦超时就会产生 TimeoutException
而且超时后标签页就卡柱了,只能通过 driver.close()关闭
如果你只有一个标签页,关闭就直接退出了,还得重启
自然想到先保留一个备用的标签,原标签超时需要关闭的时候就切换过来,然后再关闭,并打开新标签,保证任何时候都有两个标签页可用!!
def visit(urls, timeout=3): driver.implicitly_wait(timeout) # 操作、获取元素时的隐式等待时间 driver.set_page_load_timeout(timeout) # 页面加载超时等待时间 main_win = driver.current_window_handle for url in urls: all_win = driver.window_handles try: if len(all_win) == 1: driver.execute_script('window.open();') driver.get(url) # 页面处理 pass except Exception: for win in all_win: if main_win != win: driver.close() # 关闭卡住的标签 driver.switch_to.window(win) # 切换到备用标签 main_win = win # 切换到备用标签 break完整代码
from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWaitfrom selenium.webdriver.chrome.options import Optionsimport timeimport requestsimport zipfileimport osdef un_zip(file_name, to_dir='./'): """unzip zip file""" zip_file = zipfile.ZipFile(file_name) if os.path.isdir(to_dir): pass else: os.mkdir(to_dir) for names in zip_file.namelist(): zip_file.extract(names, to_dir) zip_file.close() def download_driver(to_dir='./', version=''): print('install chrome-driver first') url = 'http://npm.taobao.org/mirrors/chromedriver/LATEST_RELEASE' if len(version)>0: url = 'http://npm.taobao.org/mirrors/chromedriver/LATEST_RELEASE_'+version version = requests.get(url).content.decode('utf8') driver_file = 'http://npm.taobao.org/mirrors/chromedriver/' + version + '/chromedriver_win32.zip' r = requests.get(driver_file) download_zip = "chromedriver_win32.zip" with open(download_zip, "wb") as code: code.write(r.content) un_zip(download_zip, to_dir) os.remove(download_zip)try: driver = webdriver.Chrome()except Exception as e: download_driver(to_dir='./', version='76') driver = webdriver.Chrome()with open("url.txt", 'r') as file: urls = [ line.strip('\n') for line in file.readlines()]visit(urls)for i in driver.window_handles: driver.switch_to.window(i) driver.close()总结
到此这篇关于selenium切换标签页解决get超时问题的文章就介绍到这了,更多相关selenium切换标签页解决get超时内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
本文实例讲述了PHP中file_get_contents高级用法,分享给大家供大家参考。具体分析如下:首先解决file_get_contents的超时问题,在超
selenium+python,使用webdriver的截图函数get_screenshot_as_file()截图,代码如下:fromseleniumimpo
问题描述:列表页进入详情页,或者tab页切换,然后再返回列表页,希望能切换到之前滚动位置解决问题思路:切换到其他页面前记录位置,返回列表页的时候返回位置。这就需
在网络状况比较差的情况下file_get_contents函数经常读取远程数据失败。解决办法如下:复制代码代码如下:/*设置超时配合失败之后尝试多次读取,效果比
selenium介绍selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题seleni