时间:2021-05-02
为物联网解决方案选择正确的数据库平台是一项艰巨的任务。首先,物联网解决方案可以跨地理区域分布。与集中式的基于云的解决方案相反,更多的解决方案正在采用边缘雾计算和云计算的组合。因此,您的数据库平台必须为您提供在边缘处理数据以及在边缘服务器和云之间进行同步的灵活性。
其次,根据您的物联网使用情况,您需要的数据库功能可能包括实时数据流、数据过滤和聚合、接近零延迟的读取操作、即时分析、高可用性、地理分布、模式灵活性等等。本文介绍了为物联网解决方案选择正确的数据库平台的四个步骤:
步骤1 确定解决方案的数据需求
物联网解决方案依赖于从联网设备中收集和处理数据,做出智能决策,如触发通知或动作,计算实时分析,从历史数据中收集模式,等等。
为了便于讨论,在通用的物联网解决方案中,可以在整个企业中安装传感器和执行器。成千上万的传感器和执行器与一台edge服务器相连。物联网解决方案不断从所有传感器收集数据,做出实时决策来控制传感器和执行器,向系统监视器发出异常活动警报,并为最终用户提供分析的历史视图。
在决定使用哪些服务和与之配套的数据库之前,有必要清楚地了解如何使用数据以及在何处使用数据。一些问题可以帮助理解和优先考虑你的数据需求:
步骤2 将解决方案分解为独立的软件服务
在此步骤中,您将设计执行独立的特定任务的软件服务或组件。
当将前面描述的样例物联网解决方案分解为独立的服务时,可以得到图2所示的设计。物联网解决方案本身是地理分布的,其中一些组件部署在边缘网络,其余组件在一个集中位置。
现在让我们将架构分解为服务,并分析它们的职责和数据需求:
数据摄取
目的:收集和存储设备日志和消息。
数据库需求:支持高速写操作,因为数据可能以突发的方式到达,确保数据在不寻常的情况下不会丢失。
边缘分析
用途:对输入数据执行数据转换、分类、聚合、过滤和功能。它负责在边缘进行实时决策。
数据库需求:支持高速读写与亚毫秒延迟;提供工具和命令来对数据执行复杂的分析计算。
设备管理器
用途:向设备传递信息。
数据库需求:以最小的延迟访问和向设备发送消息。
系统分析
目的:从边缘服务器收集数据,执行数据转换和分析操作。
数据库需求:提供对数据执行分析计算的命令,并根据分析引擎的需要长时间存储数据。
C&C (命令和控制)仪表板
目的:提供物联网生态系统当前状态的可视化表示。
数据库需求:保持数据的当前和准确,读取数据的延迟小于毫秒。
商业智能
用途:从历史数据运行报告、查询和推断。
数据库需求:长时间存储数据,节约成本;提供查询和分析数据的工具。
物联网数据流出口
用途:将数据规范化为一种通用格式,并将其推送给订阅服务器。
数据库需求:高效执行数据转换操作的能力;支持发布和订阅功能。
步骤3:根据数据需求对服务进行分组,并选择正确的数据库
下一步是根据每个服务的数据选择正确的数据库。图3将我们的物联网示例中的服务连接到图中,根据数据在数据库中停留的时间和服务所需的数据读/写速度对它们进行分类。
您将看到数据不断进出数据摄取服务器,在数据库中停留的时间非常短。同时,数据的到达量大,速度快。因此,我们需要一个具有低延迟的高速数据库来保存用于摄入服务的数据。另一方面,商业智能服务依赖于历史数据。
下一步是对具有类似数据访问特征的服务进行分组,目标是限制数据库的数量(多余的数据库和不符合您需求的数据库),从而减少操作开销。
在图4中,我们将示例服务分组到两个主数据库中—一个热数据库和一个冷数据库。保存热数据的数据库部署在靠近物联网设备的位置,以最小化网络延迟。热数据和冷数据的数据库选择是:
热数据库:由于RAM的成本越来越便宜,内存中的数据库通常是一个不错的选择。内存中的数据库以最小的延迟交付数据读写能力。当选择一个热数据库时,这些额外的功能和能力将帮助您缩小选择范围:
冷数据库:物联网解决方案的历史数据可能增长到多个tb,在某些情况下可能超过一个pb。存储历史数据的流行选择包括在普通硬件上存储解决方案。查询通常遵循map-reduce模式。通常,历史数据也会在搜索引擎中建立索引,用于模式匹配和数据聚合。如果您要将数据存储在云中,请与您的云服务提供商联系,在您所在的地区,哪种数据存储方案最划算。
第四步:评估成本、资源效率
将数据库分为热数据库和冷数据库有助于缩小数据库选择范围。对于大多数物联网用例,一个高速数据库可以满足热数据库的所有需求。对于冷数据库,选项可能从关系数据库到数据湖。设计人员经常犯的一个错误是为每个服务创建具有专门数据库的多语言体系结构。这增加了应用程序堆栈的复杂性以及操作开销和成本。
拥有一个数据库的总成本是许多参数的函数。数据库本身的成本只是成本的一小部分。以下是一些费用:
结论
当为下一代物联网解决方案选择正确的数据库时,很容易迷失在现有的大量数据库中。但是,如果将解决方案分解为组件服务并理解它们的数据库需求,就可以有效地缩小数据库选择范围。大多数物联网解决方案都依赖于热数据库进行实时数据收集、处理、消息传递、分析,而冷数据库用于存储历史数据和收集商业智能。这将使架构简单、精简和健壮。
最后需要说明的是,Redis实验室赞助的开源内存数据库Redis是物联网解决方案的热门数据库。它被物联网解决方案广泛用于数据摄取、实时分析、消息传递、缓存和许多其他用例。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
软件测试环境搭建步骤是: 第一、数据库服务器端测试环境安装步骤: 1、选择服务器 2、安装操作系统 3、安装数据库 4、安装杀毒软
那么使用下面的方法,就有可能修复轻松修复数据库。您的站点地址admincp.php访问系统后台=系统工具=数据库=数据库校验,点击“数据库校验”后我们可以看到系
数据库的名称可以改的多姿多彩,只要符合您的习惯,您想怎么改就怎么改,下面就是更改数据库名称的步骤。 第1步 单击Windows“开始”按钮,选择“程序。
本文示范完整的SQLSERVER数据库全文索引以pubs数据库为例首先,介绍利用系统存储过程创建全文索引的具体步骤:1)启动数据库的全文处理功能(sp_full
我的操作系统为centos6.51首先选择django要使用什么数据库。django1.10默认数据库为sqlite3,本人想使用mysql数据库,但为了测试方