时间:2021-05-22
这篇文章主要介绍了python爬虫模块URL管理器模块用法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
URL管理器模块
一般是用来维护爬取的url和未爬取的url已经新添加的url的,如果队列中已经存在了当前爬取的url了就不需要再重复爬取了,另外防止造成一个死循环。举个例子
我爬,可以想象如果不做处理的话就成了一个死循环了,在百度首页和百度音乐页循环,所以有一个对列来维护URL是很重要的。
下面以python代码实现为例,使用的deque双向队列方便取出以前的url。
from collections import dequeclass URLQueue(): def __init__(self): self.queue = deque() # 待抓取的网页 self.visited = set() # 已经抓取过的网页 def new_url_size(self): ''''' 获取未爬取URL集合的大小 :return: ''' return len(self.queue) def old_url_size(self): ''''' 获取已爬取URL的大小 :return: ''' return len(self.visited) def has_new_url(self): ''''' 判断是否有未爬取的URL :return: ''' return self.new_url_size() != 0 def get_new_url(self): ''''' 获取一个未爬取的URL :return: ''' new_url = self.queue.popleft()#从左侧取出一个链接 self.old_urls.add(new_url)#记录已经抓取 return new_url def add_new_url(self, url): ''''' 将新的URL添加到未爬取的URL集合 :param url: 单个url :return: ''' if url is None: return False if url not in self.new_urls and url not in self.old_urls: self.new_urls.append(url) def add_new_urls(self, urlset): ''''' 将新的URL添加到未爬取的URL集合 :param urlset: url集合 :return: ''' if urlset is None or len(urlset) == 0: return for url in urlset: self.add_new_url(url)以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
本篇博文主要讲解Python爬虫实例,重点包括爬虫技术架构,组成爬虫的关键模块:URL管理器、HTML下载器和HTML解析器。爬虫简单架构程序入口函数(爬虫调度
本文实例讲述了nodejs入门教程之URL相关模块用法。分享给大家供大家参考,具体如下:1.URL模块:用于URL处理与解析1)URI与URL:URI,是uni
基本模块python爬虫,webspider。爬取网站获取网页数据,并进行分析提取。基本模块使用的是urllib,urllib2,re,等模块基本用法,例子:(
聊一聊Python与网络爬虫。1、爬虫的定义爬虫:自动抓取互联网数据的程序。2、爬虫的主要框架爬虫程序的主要框架如上图所示,爬虫调度端通过URL管理器获取待爬取
本文实例讲述了Python爬虫DNS解析缓存方法。分享给大家供大家参考,具体如下:前言:这是Python爬虫中DNS解析缓存模块中的核心代码,是去年的代码了,现