Redis通常被认为是一种持久化的存储器关键字-值型存储，可以用于几台机子之间的数据共享平台。

连接数据库

注意：假设现有几台在同一局域网内的机器分别为Master和几个Slaver

Master连接时host为localhost即本机的ip

_db = redis.Reds(host='localhost', port=6379, db=0)

Slaver连接时的host也为Master的ip，端口port和数据库db不写时为默认值6379、0

_db = redis.Redis(host='192.168.235.80')

Redis含列表、集合，字符串等几种数据结构，具体详细的几种数据结构的操作命令可查看Redis官网http://redis.io/commands，下面是对集合进行操作的一些命令

_db.sadd(key, *values) # 插入指定values到集合中并返回新插入的的值的数量_db.spop(self.key) # 随机从集合中的得到一个元素将其从集合中删除并作为返回值返回_db.smembers(self.key) # 返回集合的所有元素_db.delete(key) # 删除整个集合, 成功返回1, 失败返回0_db.srandmember(self.key) # 从集合中随机选取一个元素作为返回_db.sismember(self.key, value) # 判断指定value是否在本集合中，成功返回1,失败返回0

例如，Master可利用redis将url上传到数据库

for i in range(20): # 将需爬取的糗事百科前20页的url并存入urls集合 url = 'http://pile('<.*?>') # 匹配包括括号及括号内无关内容的模板 url = job_redis.spop('urls') while url: # 当数据库还存在网页url，取出一个并爬取 try: request = urllib2.Request(url, headers=headers) response = urllib2.urlopen(request) text = response.read() except urllib2.URLError, e: # 若出现网页读取错误捕获并输出 if hasattr(e, "reason"): print e.reason content = re.findall(content_pattern, text) # 获取含模板内容的列表 for x in content: if "img" not in x[1]: # 过滤含图片的故事 x = re.sub(pattern, '', x[0]) x = re.sub('\n', '', x) stories.append(x) url = job_redis.spop('urls') time.sleep(3) return stories def main(self): self.get_content()if __name__ == '__main__': Clawer()

将此代码在几台机器同时运行，调节其身份为master或slaver，做到简单的分布式爬虫

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。