时间:2021-05-02
一、简述传统的lru链表
lru:least recently used
相信大家对lru链表是不陌生的,它算是一种基础的数据结构吧,而且想必面试时也被问到过什么是lru链表,甚至是让你手写一个lru链表。
如果你读了上一篇:你有没有搞混查询缓存和bufferpool?谈谈看!
想必你已经知道了mysql的buffer pool机制以及mysql组织数据的最小单位是数据页。并且你也知道了 数据页在buffer pool中是以lru链表的数据结构组织在一起的。
其实所谓的lru链表本质上就是一个双向循环链表,如下图:
下面我们结合lru链表和数据页机制描述一下mysql加载数据的机制:
我们将从磁盘中读取的数据页称为young page,young page会被直接放在链表的头部。已经存在于lru链表中数据页如果被使用到了,那么该数据页也被认为是young page而被移动到链表头部。这样链表尾部的数据就是最近最少使用的数据了,当buffer pool容量不足,或者后台线程主动刷新数据页时,就会优先刷新链表尾部的数据页。
二、传统lru链表的不足
相信你之前肯定听说过操作系统级别的空间局部性原理:
spatial locality(空间局部性):也就是说读取一个数据,在它周围内存地址存储的数据也很有可能被读取到,于是操作系统会帮你预读一部分数据。
mysql也是存在存在预读机制的!
综上你可以看到,所谓的预读机制的优势,实际上违背了lru去实现将最近最少使用的数据页刷入磁盘的设计初衷。
三、mysql的lru链表
接下来我们看下mysql的buffer pool是如何定制lru链表的,已经lru帮innodb解决了什么问题。
当业务进行大量的crud时,需要不断的将数据页读取到buffer pool中的lru链表中。
mysql的lru链表长下面这样。
lru链表被midpoint分成了new sublist和old sublist两部分。
其中new sublist大概占比5/8,old sublist占比3/8。
new sublist存储着young page,而old sublist存储着old page。
我们可以通过如下的方式查看midpoint的默认值。
用户可以根据自己的业务动态的调整这个参数!
这其实是一种冷热数据分离设计思想。他相对于传统的lru链表有很大的优势
四、mysql定制lru链表的优势
而对于mysqllru链表来说,通过midpoint将链表分成两部分。
从磁盘中新读出的数据会放在old sublist的头部。这样即使你真的使用select * from t;也不会导致new sublist中的经常被访问的数据页被刷入磁盘中。
正常情况下,访问old sublist中的缓存页,那么该缓存页会被提升到new sublist中成为热数据。
但是当你通过 select * from t 将一大批数据加载到old sublist时,然后在不到1s内你又访问了它,那在这段时间内被访问的缓存页并不会被提升为热数据。 这个1s由参数innodb_old_blocks_time控制。
另外:new sublist也是经过优化的,如果你访问的是new sublist的前1/4的数据,他是不会被移动到lru链表头部去的。
以上就是浅析mysql的lru链表的详细内容,更多关于mysql lru链表的资料请关注服务器之家其它相关文章!
原文链接:https://www.cnblogs.com/ZhuChangwu/p/13983648.html
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
一、回顾MySQL启动后BufferPool会初始化。BufferPool也会初始化好N多个空白的缓存页,以及它们的描述数据会被组织成LRU链表以及FreeLi
本文实例讲述了Nodejs基于LRU算法实现的缓存处理操作。分享给大家供大家参考,具体如下:LRU是LeastRecentlyUsed的缩写,即最近最少使用页面
本文着重介绍如何在XCODE中,通过C++开发在IOS环境下运行的缓存功能。算法基于LRU(最近最少使用)。有关lru详见:http://en.wikipedi
双向循环链表,即每个节点都拥有一前一后两个指针且头尾互链的链表。各种链表的简单区别如下:单向链表:基本链表;单向循环链表:不同于单向链表以NULL判断链表的尾部
循环链表设计与API实现基本概念循环链表的定义:将单链表中最后一个数据元素的next指针指向第一个元素循环链表拥有单链表的所有操作创建链表销毁链表获取链表长度清