selenium模块

selenium基本概念

selenium优势

• 便捷的获取网站中动态加载的数据
• 便捷实现模拟登陆

selenium使用流程：

1.环境安装：pip install selenium

2.下载一个浏览器的驱动程序（谷歌浏览器）

3.实例化一个浏览器对象

基本使用

代码

from selenium import webdriverfrom lxml import etreefrom time import sleepif __name__ == '__main__': bro = webdriver.Chrome(r"E:\google\Chrome\Application\chromedriver.exe") bro.get(url='http://scxk.nmpa.gov.cn:81/xk/') page_text = bro.page_source tree = etree.HTML(page_text) li_list = tree.xpath('//*[@id="gzlist"]/li') for li in li_list: name = li.xpath('./dl/@title')[0] print(name) sleep(5) bro.quit()

基于浏览器自动化的操作

代码

#编写基于浏览器自动化的操作代码- 发起请求: get(url)- 标签定位: find系列的方法- 标签交互: send_ keys( 'xxx' )- 执行js程序: excute_script('jsCod')- 前进，后退: back(),forward( )- 关闭浏览器: quit()

代码

https://')print(bro.page_source)sleep(2)bro.quit()

到此这篇关于python爬虫selenium模块详解的文章就介绍到这了,更多相关python爬虫selenium模块内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！