时间:2021-05-02
话说今天的一个小小的查询失误给了我比较深刻的教训,也让我对mongo有了更深刻的理解,下面我们来说说这个事情的原委:
我们经常使用阿里云子账号在DMS上查询线上数据库数据,今天也是平常的一次操作
集合:
? 1 XXXX_message<br>数据量约 600万我执行了下面的mongo查询:
? 1 db.XXXX_message.find({"channel_id": "1000000009XXXX700XXXX"}).limit(20);但是上述语句中的 "channel_id" 字段不存在,真实字段应该是channel(有索引),属于失误操作
在执行过程中,我发现查询时间很久,于是中断了查询又重试了两次,还是很久,最后中断了查询,我意识到我想查的字段可能错了,于是看了下集合索引,使用正确的字段检索得到结果
但就在这时候,一场事故也在悄然酝酿,2分钟后,阿里云监控中心打来告警电话,mongo数据库cpu、iops异常升高
起初并没有意识到是这个查询导致的,还以为是半小时前发布的版本可能有问题,于是立即回滚了版本并开始项目检查
查了许久,并没有查到可能造成本次数据库异常告警的原因,项目对该库的依赖的操作的地方非常少。
当我们苦苦想不到原因的时候,我们去查了下相关慢sql日志,果然一道耗时约1800000ms的慢sql日志引起了我们的注意
这时候我似乎意识到了点什么,我立马查阿里云控制台查询历史核对了我刚才查询的时间和数据库cpu、磁盘iops异常升高的时间节点
完全对上了,该起事故持续半小时左右,那条没有被成功中断的sql也执行了半小时左右
这让我很震惊,一次控制台查询居然导致整个数据库出现如此严重的问题,mongo底层没有考虑过不存在字段查询问题吗?
我慢慢平复心情,仔细回顾这件事情,我尝试着从mongo和mysql的底层去理解这个问题
mongo本身是集合型数据库,意味着每个集合文档都可以有自己独立的数据结构,和mysql等关系型数据库的很重要的区别就是它没有固定的表结构,它包容且随性
当在查询一个不存在的字段的时候,它仍然按照普通查询检索数据,这时候它会全表扫描,也就是说在上述失误语句中,mongo底层检索了整个集合的数据集,
遍历了该集合所有的磁盘块,这才导致磁盘iops升高且cpu升高。
这次经历让我觉得我有必要记录下相关心得,可能对于很多高级技术人员,这些东西都是很容易理解和规避的事情,但大多数人对此可能并没有深刻认识
这次事故让我对技术多了一层敬畏,这有助于我在今后的代码实践和操作中更加谨慎和多一层思考,希望大家以此为戒!此文共勉!
到此这篇关于一次因mongo查询不存在字段引发的事故记录的文章就介绍到这了,更多相关mongo查询不存在字段的事故内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家!
原文链接:https://www.cnblogs.com/dongxixi/p/14237743.html
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
前言在我们往数据库插入数据的时候,需要判断某个字段是否存在,如果存在则执行更新操作,如果不存在则执行插入操作,如果每次首先查询一次判断是否存在,再执行插入或者更
如果需要在MySQL中实现记录不存在则insert,不存在则update操作。可以使用以下语句:更新一个字段:INSERTINTOtbl(columnA,col
mysql记录不存在时插入在MySQL中,插入(insert)一条记录很简单,但是一些特殊应用,在插入记录前,需要检查这条记录是否已经存在,只有当记录不存在时才
返回当前数据库中指定字段在记录中所占的尺寸。如果指定字段不存在,将返回0。注意:备注型和字节集型字段将返回4。语法:整数型取字段尺寸(字段名称或位置)参数名描述
自己随便写了一个人机交互的程序。不存在任何智能,只是可以识别姓名,可以记录对话内容,并保存等到下一次交互时加载。(推荐面向对象版本)#hello.py#这是老早