时间:2021-05-23
通过以下三步,保证爬虫能自动隔天抓取数据:
每天凌晨00:01启动监控脚本,监控爬虫的运行状态,一旦爬虫进入空闲状态,启动爬虫。
一旦爬虫执行完毕,自动退出脚本,结束今天的任务。
一旦脚本距离启动时间超过24小时,自动退出脚本,等待第二天的监控脚本启动,重复这三步。
python 3.6.1
系统:win7
IDE:pycharm
安装过scrapy
3.1. 前提:
目前爬虫是通过scrapy模块自带的cmdline.execute来启动的。
from scrapy import cmdlinecmdline.execute('scrapy crawl mySpider'.split())3.2. 将自动执行脚本做到scrapy爬虫的外部
(1)每天凌晨00:01启动脚本(控制脚本的存活时间为24小时),监测爬虫的运行状态(需要用一个标记信息来表示爬虫的状态:运行还是停止)。
(2)脚本进入等待阶段,每隔10分钟,检查一下爬虫的运行状态,如(1)。但是一旦发现,脚本的等待时间超过了24小时,则自动退出脚本,因为第二天的监测脚本已经开始运行了,接替了它的任务。
(3)做一些爬虫启动前的准备工作(删除用来续爬的文件,防止爬虫不运行了),启动爬虫爬取数据,待爬虫正常结束后,退出脚本,完成当天的爬取任务。
通过判断文件是否存在的方式来判断爬虫是否处于运行状态:
那么isRunning.txt存在,就说明爬虫正在运行;文件不存在,就说明爬虫不在运行。
# 文件pipelines.py# 爬虫启动时checkFile = "isRunning.txt"class myPipeline: def open_spider(self, spider): self.client = MongoClient('localhost:27017') # 连接Mongodb self.db = self.client['mydata'] # 待存储数据的数据库mydata f = open(checkFile, "w") # 创建一个文件,代表爬虫在运行中 f.close()# 文件pipelines.py# 爬虫正常结束时checkFile = "isRunning.txt"class myPipeline: def close_spider(self, spider): self.client.close() isFileExsit = os.path.isfile(checkFile) if isFileExsit: os.remove(checkFile)设置Log等级:
# 文件mySpider.pyclass mySpider(CrawlSpider): name = "mySpider" allowed_domains = ['http://photo.poco.cn/'] custom_settings = { 'LOG_LEVEL':'INFO', # 减少Log输出量,仅保留必要的信息 # ...... 在爬虫内部用custom_setting可以让这个配置信息仅对这一个爬虫生效 }以日期为Log文件命名
# 文件settings.pyimport datetimeBOT_NAME = 'mySpider'ROBOTSTXT_OBEY = FalsestartDate = datetime.datetime.now().strftime('%Y%m%d')LOG_FILE=f"mySpiderlog{startDate}.txt"4.4. 为数据按日期存储到不同的表(mongodb的集合)中
# 文件pipelines.pyimport datetimeGALANCE=f'galance{datetime.datetime.now().strftime("%Y%m%d")}' # 表名class myPipeline: def open_spider(self, spider): self.client = MongoClient('localhost:27017') # 连接Mongodb self.db = self.client['mydata'] # 待存储数据的数据库mydataself.db[GALANCE].insert(dict(item))5.2. 编写bat批处理文件
# 文件runTimerRunDaily.batcd /d F:/newClawer20170831/mySpidercall python timerStartDaily.pypause参考以下这篇博客部署windows计划任务:
有关windows计划任务相关设置的详细说明如下:
https://technet.microsoft.com/zh-cn/library/cc722178.aspx
(1)在添加计划任务时,要按照如下图进行勾选(只在用户登录时运行),才能弹出下面的cmd任务界面,方便观察和调试。
(2)由于爬虫运行时间很长,如果按照默认设置,在凌晨运行实例时,上一次启动尚未结束,会导致这次启动失败,所以要更改默认设置为(如果此任务已经运行:并行运行新实例。保护机制在于每个启动脚本在等待24小时候会自动退出,来保证不会重复启动)。
(3)如果想支持续传,只能按一次ctrl + c来停止爬虫运行。因为终止爬虫时,爬虫需要做一些善后工作,如果连续按多次ctrl + c来停止爬虫,爬虫将来不及善后,会导致无法续爬。 6.3. 效果展示。
正常执行完成:
正在执行中:
到此这篇关于python实现scrapy爬虫每天定时抓取数据的示例代码的文章就介绍到这了,更多相关python scrapy定时抓取内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
一般网站发布信息会在具体实现范围内发布,我们在进行网络爬虫的过程中,可以通过设置定时爬虫,定时的爬取网站的内容。使用python爬虫框架Scrapy框架可以实现
前言Scrapy是一个开源的网络爬虫框架,Python编写的。最初设计用于网页抓取,也可以用来提取数据使用API或作为一个通用的网络爬虫。是数据采集不可必备的利
项目需要程序能够放在超算中心定时运行,于是针对scrapy写了一个定时爬虫的程序main.py,直接放在scrapy的存储代码的目录中就能设定时间定时多次执行。
最近在学Python,同时也在学如何使用python抓取数据,于是就被我发现了这个非常受欢迎的Python抓取框架Scrapy,下面一起学习下Scrapy的架构
脚本服务化目的:python在文本处理中有着广泛的应用,为了满足文本数据的获取,会每天运行一些爬虫抓取数据。但是网上买的服务器会不定时进行维护,服务器会被重启。