时间:2021-05-22
本文主要介绍了scrapy settings配置,分享给大家,具体如下:
# 字符编码FEED_EXPORT_ENCODING = 'utf-8'# redis写法一# REDIS_URL = 'redis://localhost:6379' # redis写法二REDIS_HOST = '192.168.10.223'REDIS_PORT = 6379# 默认的 scrapy redis 会读取下面的密码和dbREDIS_PARAMS = { 'password': '123456', 'db': redis_db}# 对于失败的HTTP请求(如超时)进行重试会降低爬取效率,当爬取目标基数很大时,舍弃部分数据不影响大局,提高效率# RETRY_ENABLED = False# 请求下载超时时间,默认180秒DOWNLOAD_TIMEOUT = 10# 1:设置去重组件,使用的是scrapy_redis的去重组件,而不是scrapy自己的去重组件了DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"# 2:设置调度器,使用scrapy——redis重写的调度器,# 而不再使用scrapy内部的调度器了SCHEDULER = "scrapy_redis.scheduler.Scheduler"# 3:可以实现断点爬取=jondir,(请求的记录不会丢失,会存储在redis数据库中,# 不会清除redis的队列,下次直接从redis的队列中爬取)SCHEDULER_PERSIST = True# 4:设置任务队列的模式(三选一):# SpiderPriorityQueue数据scrapy-redis默认使用的队列模式(# 有自己的优先级)默认第一种SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"# 使用了队列的形式,任务先进先出。# SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderQueue"# 采用了栈的形式:任务先进后出# SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderStack"'''用来控制当接收到的 response 头信息中的 Content-Length 和内容不匹配或者response chunk 未正确结束时的时所采取的操作。当 DOWNLOAD_FAIL_ON_DATALOSS 为 True 的时候抛出 ResponseFailed([_DataLoss]) 错误当设置为 False 时, 校验未通过的 response 将被忽略并且添加一个名为 dataloss 的 flag 到 response.flag'''DOWNLOAD_FAIL_ON_DATALOSS = FalseMONGO_URI = 'mongodb://用户名:密码@ip:port'到此这篇关于记录一下scrapy中settings的一些配置小结的文章就介绍到这了,更多相关scrapy settings配置内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
被Scrapy自动添加的头部在没有任何配置的情况下,scrapy会对请求默认加上一些头部信息Scrapy会通过配置文件中的USER_AGENT配置,自动为头部添
应用Scrapy框架,配置动态IP处理反爬。#settings配置中间件DOWNLOADER_MIDDLEWARES={'text.middlewares.Te
配置环境花了我一下午的时间,简单记录一下,希望能帮到一些新手。1、下载PyCharm:https:///tensorflow/linux/cpu/tensorf
前言最近在学c#,运行环境一般都是在vs中,但是想单纯的写一些短的测试代码还是习惯使用vscode,记录一下配置过程。VSCode配置C#运行环境1.下载dot
前言在做项目的时候一些配置文件都会写在settings配置文件中,今天在研究"州的先生"开源文档写作系统-MrDoc的时候,发现部分配置文件写在config.i