时间:2021-05-22
python selenium 获取接口数据。
selenium没有直接提供查询的函数,但是可以通过webdriver提供的API查询,使用的函数是Network.getResponseBody
webdriver提供的API文档:https://chromedevtools.github.io/devtools-protocol/tot/Network/
Network.getResponseBody文档说明:
Network.getResponseBody的参数是requestid,requestid是webdriver每个请求自动生成的惟一ID,拿到requestid就能拿到请求返回的内容。
如何获取requestid?创建webdriver对象时配置信息设置获取performance,即可获取每个请求的日志信息,然后通过对日志信息的检索找到对应的requestid。
获取日志信息的webdriver创建代码(注意,必须传入配置信息才能获取日志信息):
from selenium import webdriverfrom selenium.webdriver.common.desired_capabilities import DesiredCapabilitiesimport time caps = { 'browserName': 'chrome', 'loggingPrefs': { 'browser': 'ALL', 'driver': 'ALL', 'performance': 'ALL', }, 'goog:chromeOptions': { 'perfLoggingPrefs': { 'enableNetwork': True, }, 'w3c': False, },}driver = webdriver.Chrome(desired_capabilities=caps) driver.get('https://partner.oceanengine.com/union/media/login/')# 必须等待一定的时间,不然会报错提示获取不到日志信息,因为絮叨等所有请求结束才能获取日志信息time.sleep(3) request_log = driver.get_log('performance')打印request_log是一个数组,然后遍历request_log检索需要获取的url对应的requestid,比如需要获取https://s3.pstatp.com/bytecom/resource/union_web2/media/manifest.json对应的requestid,并且获取接口内容:
for i in range(len(request_log)): message = json.loads(request_log[i]['message']) message = message['message']['params'] # .get() 方式获取是了避免字段不存在时报错 request = message.get('request') if(request is None): continue url = request.get('url') if(url == "https://s3.pstatp.com/bytecom/resource/union_web2/media/manifest.json"): # 得到requestId print(message['requestId']) # 通过requestId获取接口内容 content = driver.execute_cdp_cmd('Network.getResponseBody', {'requestId': message['requestId']}) print(content) break完整代码:
import jsonfrom selenium import webdriverfrom selenium.webdriver.common.desired_capabilities import DesiredCapabilitiesimport time caps = { 'browserName': 'chrome', 'loggingPrefs': { 'browser': 'ALL', 'driver': 'ALL', 'performance': 'ALL', }, 'goog:chromeOptions': { 'perfLoggingPrefs': { 'enableNetwork': True, }, 'w3c': False, },}driver = webdriver.Chrome(desired_capabilities=caps) driver.get('https://partner.oceanengine.com/union/media/login/')# 必须等待一定的时间,不然会报错提示获取不到日志信息,因为絮叨等所有请求结束才能获取日志信息time.sleep(3) request_log = driver.get_log('performance')print(request_log) for i in range(len(request_log)): message = json.loads(request_log[i]['message']) message = message['message']['params'] # .get() 方式获取是了避免字段不存在时报错 request = message.get('request') if(request is None): continue url = request.get('url') if(url == "https://s3.pstatp.com/bytecom/resource/union_web2/media/manifest.json"): # 得到requestId print(message['requestId']) # 通过requestId获取接口内容 content = driver.execute_cdp_cmd('Network.getResponseBody', {'requestId': message['requestId']}) print(content) break到此这篇关于python selenium 获取接口数据的实现的文章就介绍到这了,更多相关python selenium 获取接口数据内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
selenium模块selenium基本概念selenium优势便捷的获取网站中动态加载的数据便捷实现模拟登陆selenium使用流程:1.环境安装:pipin
本文总结分享介绍接口测试框架开发,环境使用python3+selenium3+unittest+ddt+requests测试框架及ddt数据驱动,采用Excel
通过python配合爬虫接口利用selenium实现自动化打开chrome浏览器,进行百度关键词搜索。1、安装python3,访问官网选择对应的版本安装即可,最
(一)编程环境操作系统:Win10编程语言:Python3.6(二)安装selenium这里使用selenium实现。如果没有安装过python的seleniu
安装selenium打开命令控制符输入:pipinstall-Uselenium火狐浏览器安装firebug:到此这篇关于selenium+python实现基本