Java 爬虫如何爬取需要登录的网站

时间:2021-05-20

这是 Java 网络爬虫系列博文的第二篇,在上一篇 Java 网络爬虫新手入门详解 中,我们简单的学习了一下如何利用 Java 进行网络爬虫。在这一篇中我们将简单的聊一聊在网络爬虫时,遇到需要登录的网站,我们该怎么办?

在做爬虫时,遇到需要登陆的问题也比较常见,比如写脚本抢票之类的,但凡需要个人信息的都需要登陆,对于这类问题主要有两种解决方式:一种方式是手动设置 cookie ,就是先在网站上面登录,复制登陆后的 cookies ,在爬虫程序中手动设置 HTTP 请求中的 Cookie 属性,这种方式适用于采集频次不高、采集周期短,因为 cookie 会失效,如果长期采集的话就需要频繁设置 cookie,这不是一种可行的办法,第二种方式就是使用程序模拟登陆,通过模拟登陆获取到 cookies,这种方式适用于长期采集该网站,因为每次采集都会先登陆,这样就不需要担心 cookie 过期的问题。

为了能让大家更好的理解这两种方式的运用,我以获取豆瓣个人主页昵称为例,分别用这两种方式来获取需要登陆后才能看到的信息。获取信息如下图所示:

获取图片中的缺心眼那叫单纯,这个信息显然是需要登陆后才能看到的,这就符合我们的主题啦。接下来分别用上面两种办法来解决这个问题。

手动设置 cookie

手动设置 cookie 的方式,这种方式比较简单,我们只需要在豆瓣网上登陆,登陆成功后就可以获取到带有用户信息的cookie,豆瓣网登录链接:https://accounts.douban.com/passport/login。如下图所示:

图中的这个 cookie 就携带了用户信息,我们只需要在请求时携带这个 cookie 就可以查看到需要登陆后才能查看到的信息。我们用 Jsoup 来模拟一下手动设置 cookie 方式,具体代码如下:

/** * 手动设置 cookies * 先从网站上登录,然后查看 request headers 里面的 cookies * @param url * @throws IOException */public void setCookies(String url) throws IOException { Document document = Jsoup.connect(url) // 手动设置cookies .header("Cookie", "your cookies") .get(); // if (document != null) { // 获取豆瓣昵称节点 Element element = document.select(".info h1").first(); if (element == null) { System.out.println("没有找到 .info h1 标签"); return; } // 取出豆瓣节点昵称 String userName = element.ownText(); System.out.println("豆瓣我的网名为:" + userName); } else { System.out.println("出错啦!!!!!"); }}

从代码中可以看出跟不需要登陆的网站没什么区别,只是多了一个.header("Cookie", "your cookies") ,我们把浏览器中的 cookie 复制到这里即可,编写 main 方法

public static void main(String[] args) throws Exception { // 个人中心url String user_info_url = "https:///j/mobile/login/basic"; // new CrawleLogin().setCookies(user_info_url); new CrawleLogin().jsoupLogin(login_url,user_info_url);}

运行 main 方法,得到如下结果:

模拟登陆的方式也成功的获取到了网名缺心眼那叫单纯,虽然这已经是最简单的模拟登陆啦,从代码量上就可以看出它比设置 cookie 要复杂很多,对于其他有验证码的登陆,我就不在这里介绍了,第一是我在这方面也没什么经验,第二是这个实现起来比较复杂,会涉及到一些算法和一些辅助工具的使用,有兴趣的朋友可以参考崔庆才老师的博客研究研究。模拟登陆写起来虽然比较复杂,但是只要你编写好之后,你就能够一劳永逸,如果你需要长期采集需要登陆的信息,这个还是值得你的做的。

除了使用 jsoup 模拟登陆外,我们还可以使用 httpclient 模拟登陆,httpclient 模拟登陆没有 Jsoup 那么复杂,因为 httpclient 能够像浏览器一样保存 session 会话,这样登陆之后就保存下了 cookie ,在同一个 httpclient 内请求就会带上 cookie 啦。httpclient 模拟登陆代码如下:

/** * httpclient 的方式模拟登录豆瓣 * httpclient 跟jsoup差不多,不同的地方在于 httpclient 有session的概念 * 在同一个httpclient 内不需要设置cookies ,会默认缓存下来 * @param loginUrl * @param userInfoUrl */public void httpClientLogin(String loginUrl,String userInfoUrl) throws Exception{ CloseableHttpClient httpclient = HttpClients.createDefault(); HttpUriRequest login = RequestBuilder.post() .setUri(new URI(loginUrl))// 登陆url .setHeader("Upgrade-Insecure-Requests","1") .setHeader("Accept","application/json") .setHeader("Content-Type","application/x-www-form-urlencoded") .setHeader("X-Requested-With","XMLHttpRequest") .setHeader("User-Agent","Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36") // 设置账号信息 .addParameter("name","your_account") .addParameter("password","your_password") .addParameter("remember","false") .addParameter("ticket","") .addParameter("ck","") .build(); // 模拟登陆 CloseableHttpResponse response = httpclient.execute(login); if (response.getStatusLine().getStatusCode() == 200){ // 构造访问个人中心请求 HttpGet httpGet = new HttpGet(userInfoUrl); CloseableHttpResponse user_response = httpclient.execute(httpGet); HttpEntity entity = user_response.getEntity(); // String body = EntityUtils.toString(entity, "utf-8"); // 偷个懒,直接判断 缺心眼那叫单纯 是否存在字符串中 System.out.println("缺心眼那叫单纯是否查找到?"+(body.contains("缺心眼那叫单纯"))); }else { System.out.println("httpclient 模拟登录豆瓣失败了!!!!"); }}

运行这段代码,返回的结果也是 true。

有关 Java 爬虫遇到登陆问题就聊得差不多啦,来总结一下:对于爬虫遇到登陆问题有两种解决办法,一种是手动设置cookie,这种方式适用于短暂性采集或者一次性采集,成本较低。另一种方式是模拟登陆的方式,这种方式适用于长期采集的网站,因为模拟登陆的代价还是蛮高的,特别是一些变态的验证码,好处就是能够让你一劳永逸

源代码:源代码

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。

声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。

相关文章