Java 爬虫工具Jsoup详解

Jsoup是一款 Java 的 HTML 解析器，可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API，可通过 DOM，CSS 以及类似于 jQuery 的操作方法来取出和操作数据。

jsoup 的主要功能如下：

1. 从一个 URL，文件或字符串中解析 HTML；
2. 使用 DOM 或 CSS 选择器来查找、取出数据；
3. 可操作 HTML 元素、属性、文本；

jsoup 是基于 MIT 协议发布的，可放心使用于商业项目。

jsoup 可以从包括字符串、URL 地址以及本地文件来加载 HTML 文档，并生成 Document 对象实例。

简单而言，Jsoup就是先取html页面代码然后解析这些页面通过Jsoup携带的满足我们绝大多数需求的各种选择器从这个页面中获取我们所需要的重要数据的一款功能强大的html解析器，但也只是相对而言，这里的页面这是死的静态页面，如果你想获取动态生成的页面数据那么你得用到其他的java 爬虫技术，我会不定时更新这些技术一起探讨。下面我们来具体谈谈如何运用Jsoup

一、如何取页面

Jsoup提供了用来解析html页面的方法 parse(),我们通过解析它可以获取整个页面的dom对象，通过这个对象来获取你所需要的页面所须有的参数。获取页面的方法有很多，这里就简单的列举几个：

① 通过Jsoup携带的connect()方法

String htmlPage = Jsoup.connect("https://";Document document = Jsoup.connect(startPage).userAgent("Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36").get();Element elementById = document.getElementById("qrcode");String text = elementById.getAllElements().get(0).getAllElements().get(1).getElementsByTag("b").text();System.out.println(text);

这就是一个很简单的爬虫编写工具，Jsoup功能很强大，对直接爬取没有动态加载的静态资源页面再适合不过。

感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！