时间:2021-05-22
题记:早已听闻python爬虫框架的大名。近些天学习了下其中的Scrapy爬虫框架,将自己理解的跟大家分享。有表述不当之处,望大神们斧正。
一、初窥Scrapy
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。
其最初是为了页面抓取(更确切来说,网络抓取)所设计的, 也可以应用在获取API所返回的数据(例如Amazon Associates Web Services) 或者通用的网络爬虫。
本文档将通过介绍Scrapy背后的概念使您对其工作原理有所了解, 并确定Scrapy是否是您所需要的。
当您准备好开始您的项目后,您可以参考入门教程。
二、Scrapy安装介绍
Scrapy框架运行平台及相关辅助工具
您可以使用pip来安装Scrapy(推荐使用pip来安装Python package).
pip install ScrapyWindows下安装流程:
1、安装Python 2.7之后,您需要修改PATH环境变量,将Python的可执行程序及额外的脚本添加到系统路径中。将以下路径添加到PATH中:
C:\Python27\;C:\Python27\Scripts\;
除此之外,还可以用cmd命令来设置Path:
c:\python27\python.exe c:\python27\tools\scripts\win_add2path.py
安装配置完成之后,可以执行命令python --version查看安装的python版本。(如图所示)
2、从http://sourceforge.net/projects/pywin32/安装pywin32
请确认下载符合您系统的版本(win32或者amd64)
从https://pip.pypa.io/en/latest/installing.html安装pip
3、打开命令行窗口,确认pip被正确安装:
pip --version4、到目前为止Python 2.7 及pip已经可以正确运行了。接下来安装Scrapy:
pip install Scrapy至此windows下Scrapy安装已经结束。
三、Scrapy入门教程
1、在cmd中创建Scrapy项目工程。
scrapy startproject tutorial
H:\python\scrapyDemo>scrapy startproject tutorialNew Scrapy project 'tutorial', using template directory 'f:\\python27\\lib\\site-packages\\scrapy\\templates\\project', created in: H:\python\scrapyDemo\tutorialYou can start your first spider with: cd tutorial scrapy genspider example example.com2、文件目录结构如下:
。
解析scrapy框架结构:
3、编写简单的爬虫
1、在item.py中配置需采集页面的字段实例。
# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# http://doc.scrapy.org/en/latest/topics/items.htmlimport scrapyfrom scrapy.item import Item, Fieldclass TutorialItem(Item): title = Field() author = Field() releasedate = Field()2、在tutorial/spiders/spider.py中书写要采集的网站以及分别采集各字段。
# -*-coding:utf-8-*-import sysfrom scrapy.linkextractors.sgml import SgmlLinkExtractorfrom scrapy.spiders import CrawlSpider, Rulefrom tutorial.items import TutorialItemreload(sys)sys.setdefaultencoding("utf-8")class ListSpider(CrawlSpider): # 爬虫名称 name = "tutorial" # 设置下载延时 download_delay = 1 # 允许域名 allowed_domains = ["news.cnblogs.com"] # 开始URL start_urls = [ "https://news.cnblogs.com" ] # 爬取规则,不带callback表示向该类url递归爬取 rules = ( Rule(SgmlLinkExtractor(allow=(r'https://news.cnblogs.com/n/page/\d',))), Rule(SgmlLinkExtractor(allow=(r'https://news.cnblogs.com/n/\d+',)), callback='parse_content'), ) # 解析内容函数 def parse_content(self, response): item = TutorialItem() # 当前URL title = response.selector.xpath('//div[@id="news_title"]')[0].extract().decode('utf-8') item['title'] = title author = response.selector.xpath('//div[@id="news_info"]/span/a/text()')[0].extract().decode('utf-8') item['author'] = author releasedate = response.selector.xpath('//div[@id="news_info"]/span[@class="time"]/text()')[0].extract().decode( 'utf-8') item['releasedate'] = releasedate yield item3、在tutorial/pipelines.py管道中保存数据。
# -*- coding: utf-8 -*-# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.htmlimport jsonimport codecsclass TutorialPipeline(object): def __init__(self): self.file = codecs.open('data.json', mode='wb', encoding='utf-8')#数据存储到data.json def process_item(self, item, spider): line = json.dumps(dict(item)) + "\n" self.file.write(line.decode("unicode_escape")) return item4、tutorial/settings.py中配置执行环境。
# -*- coding: utf-8 -*-BOT_NAME = 'tutorial'SPIDER_MODULES = ['tutorial.spiders']NEWSPIDER_MODULE = 'tutorial.spiders'# 禁止cookies,防止被banCOOKIES_ENABLED = FalseCOOKIES_ENABLES = False# 设置Pipeline,此处实现数据写入文件ITEM_PIPELINES = { 'tutorial.pipelines.TutorialPipeline': 300}# 设置爬虫爬取的最大深度DEPTH_LIMIT = 1005、新建main文件执行爬虫代码。
from scrapy import cmdlinecmdline.execute("scrapy crawl tutorial".split())最终,执行main.py后在data.json文件中获取到采集结果的json数据。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
今天小编给大家详细的讲解一下Scrapy爬虫框架,希望对大家的学习有帮助。1、Scrapy爬虫框架Scrapy是一个使用Python编程语言编写的爬虫框架,任何
前言众所周知scrapy是Python中鼎鼎大名的爬虫框架,在安装scrapy过程中碰到了openssl某个文件找不到的问题,并进行了分析,记录之。一、scra
前言最近学习scrapy爬虫框架,在使用pycharm安装scrapy类库及创建scrapy项目时花费了好长的时间,遇到各种坑,根据网上的各种教程,花费了一晚上
python书写爬虫的一个框架,它也提供了多种类型爬虫的基类,scrapy用途广泛,可以用于数据挖掘、监测和自动化测试首先要先安装python安装完成以后,配置
scrapy是目前python使用的最广泛的爬虫框架架构图如下解释:ScrapyEngine(引擎):负责Spider、ItemPipeline、Downloa