小众实用的Python 爬虫库RoboBrowser

时间:2021-05-23

1. 前言

大家好,我是安果!

今天推荐一款小众轻量级的爬虫库:RoboBrowser

RoboBrowser,Your friendly neighborhood web scraper!由纯 Python 编写,运行无需独立的浏览器,它不仅可以做爬虫,还可以实现 Web 端的自动化

项目地址:

​https://github.com/jmcarp/robobrowser

2. 安装及用法

在实战之前,我们先安装依赖库及解析器

PS:官方推荐的解析器是 「lxml」

# 安装依赖pip3 install robobrowser# lxml解析器(官方推荐)pip3 install lxml

RoboBrowser 常见的 2 个功能为:

  • 模拟表单 Form 提交
  • 网页数据爬取

使用RoboBrowser进行网页数据爬取,常见的 3 个方法如下:

  • find

查询当前页面满足条件的第一个元素

  • find_all

查询当前页面拥有共同属性的一个列表元素

  • select

通过 CSS 选择器,查询页面,返回一个元素列表

需要指出的是,RoboBrowser 依赖于 BS4,所以它的使用方法和 BS4 类似

更多功能可以参考:

https://'# parser: 解析器,HTML parser; used by BeautifulSoup# 官方推荐:lxmlrb = RoboBrowser(history=True, parser='lxml')# 打开目标网站rb.open(home_url)

然后,使用RoboBrowser 实例对象中的open()方法打开目标网站

3-2自动化表单提交

首先,使用 RoboBrowser 实例对象获取网页中的表单 Form

然后,通过为表单中的输入框赋值模拟输入操作

最后,使用submit_form()方法进行表单提交,模拟一次搜索操作

# 获取表单对象bd_form = rb.get_form()print(bd_form)bd_form['wd'].value = "AirPython"# 提交表单,模拟一次搜索rb.submit_form(bd_form)

3-3数据爬取

分析搜索页面的网页结构,利用RoboBrowser 中的 select() 方法匹配出所有的搜索列表元素

遍历搜索列表元素,使用find() 方法查询出每一项的标题及 href 链接地址

# 查看结果result_elements = rb.select(".result")# 搜索结果search_result = []# 第一项的链接地址first_href = ''for index, element in enumerate(result_elements): title = element.find("a").text href = element.find("a")['href'] search_result.append(title) if index == 0: first_href = element.find("a") print('第一项地址为:', href)print(search_result)

最后,使用 RoboBrowser中的follow_link()方法模拟一下「点击链接,查看网页详情」的操作

# 跳转到第一个链接rb.follow_link(first_href)# 获取历史print(rb.url)

需要注意的是,follow_link() 方法的参数为带有 href 值的 a 标签

4. 最后

文中结合百度搜索实例,使用RoboBrowser 完成了一次自动化及爬虫操作

相比 Selenium、Helium等,RoboBrowser更轻量级,不依赖独立的浏览器及驱动

如果想处理一些简单的爬虫或 Web 自动化,RoboBrowser完全够用;但是面对一些复杂的自动化场景,更建议使用 Selenium、Pyppeteer、Helium 等

以上就是Python 爬虫库RoboBrowser的使用简介的详细内容,更多关于Python 爬虫库RoboBrowser的资料请关注其它相关文章!

声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。

相关文章