python爬虫学习笔记之Beautifulsoup模块用法详解

时间：2021-05-22

本文实例讲述了python爬虫学习笔记之Beautifulsoup模块用法。分享给大家供大家参考，具体如下：

相关内容：

  • 什么是beautifulsoup
  • bs4的使用
    • 导入模块
    • 选择使用解析器
    • 使用标签名查找
    • 使用find\find_all查找
    • 使用select查找

首发时间：2018-03-02 00:10

什么是beautifulsoup:

  • 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.（官方）
  • beautifulsoup是一个解析器，可以特定的解析出内容，省去了我们编写正则表达式的麻烦。

Beautiful Soup 3 目前已经停止开发,我们推荐在现在的项目中使用Beautiful Soup 4

beautifulsoup的版本：最新版是bs4

bs4的使用：

1.导入模块：

from bs4 import beautifulsoup

2.选择解析器解析指定内容：

soup=beautifulsoup(解析内容,解析器)

常用解析器：html.parser,lxml,xml,html5lib

有时候需要安装安装解析器：比如pip3 install lxml

BeautifulSoup默认支持Python的标准HTML解析库，但是它也支持一些第三方的解析库：

解析器之间的区别 #此处摘自官方文档

Beautiful Soup为不同的解析器提供了相同的接口,但解析器本身时有区别的.同一篇文档被不同的解析器解析后可能会生成不同结构的树型文档.区别最大的是HTML解析器和XML解析器,看下面片段被解析成HTML结构:

BeautifulSoup("<a><b /></a>")# <html><head></head><body><a><b></b></a></body></html>

因为空标签<b />不符合HTML标准,所以解析器把它解析成<b></b>

同样的文档使用XML解析如下(解析XML需要安装lxml库).注意,空标签<b />依然被保留,并且文档前添加了XML头,而不是被包含在<html>标签内:

BeautifulSoup("<a><b /></a>", "xml")# <?xml version="1.0" encoding="utf-8"?># <a><b/></a>

HTML解析器之间也有区别,如果被解析的HTML文档是标准格式,那么解析器之间没有任何差别,只是解析速度不同,结果都会返回正确的文档树.

但是如果被解析文档不是标准格式,那么不同的解析器返回结果可能不同.下面例子中,使用lxml解析错误格式的文档,结果</p>标签被直接忽略掉了:

BeautifulSoup("<a></p>", "lxml")# <html><body><a></a></body></html>

使用html5lib库解析相同文档会得到不同的结果:

BeautifulSoup("<a></p>", "html5lib")# <html><head></head><body><a><p></p></a></body></html>

html5lib库没有忽略掉</p>标签,而是自动补全了标签,还给文档树添加了<head>标签.

使用pyhton内置库解析结果如下:

BeautifulSoup("<a></p>", "html.parser")# <a></a>

与lxml [7] 库类似的,Python内置库忽略掉了</p>标签,与html5lib库不同的是标准库没有尝试创建符合标准的文档格式或将文档片段包含在<body>标签内,与lxml不同的是标准库甚至连<html>标签都没有尝试去添加.

因为文档片段“<a></p>”是错误格式,所以以上解析方式都能算作”正确”,html5lib库使用的是HTML5的部分标准,所以最接近”正确”.不过所有解析器的结构都能够被认为是”正常”的.

不同的解析器可能影响代码执行结果,如果在分发给别人的代码中使用了 BeautifulSoup ,那么最好注明使用了哪种解析器,以减少不必要的麻烦.

3.操作【约定soup是beautifulsoup(解析内容,解析器)返回的解析对象】：

  • 使用标签名查找

    • 使用标签名来获取结点：
      • soup.标签名
    • 使用标签名来获取结点标签名【这个重点是name，主要用于非标签名式筛选时，获取结果的标签名】：
      • soup.标签.name
    • 使用标签名来获取结点属性：
      • soup.标签.attrs【获取全部属性】
      • soup.标签.attrs[属性名]【获取指定属性】
      • soup.标签[属性名]【获取指定属性】
      • soup.标签.get(属性名)
    • 使用标签名来获取结点的文本内容：
      • soup.标签.text
      • soup.标签.string
      • soup.标签.get_text()

补充1：上面的筛选方式可以使用嵌套:

print(soup.p.a)#p标签下的a标签

补充2：以上的name,text,string,attrs等方法都可以使用在当结果是一个bs4.element.Tag对象的时候:

from bs4 import BeautifulSouphtml = """<html ><head> <meta charset="UTF-8"> <title>this is a title</title></head><body><p class="news">123</p><p class="contents" id="i1">456</p><a href="http:///software/BeautifulSoup/bs4/doc/index.zh.html

更多关于Python相关内容可查看本站专题：《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

声明：本页内容来源网络，仅供用户参考；我单位不保证亦不表示资料全面及准确无误，也不保证亦不表示这些资料为最新信息，如因任何原因，本网内容或者用户因倚赖本网内容造成任何损失或损害，我单位将不会负任何法律责任。如涉及版权问题，请提交至online#300.cn邮箱联系删除。

相关文章