这篇文章主要讲解了“LSM的存储以及定位”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“LSM的存储以及定位”吧!
创新互联建站从2013年成立,先为红花岗等服务建站,红花岗等地企业,进行企业商务咨询服务。为红花岗企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。LSM的存储
主要思想是将直接修改树形结构,改为分几个层级来完成。当完成第一个层级时就反馈完成,其他交由后台来处理。
流程是先写入memory table,之后merge到低级别的sstable,最后merge到高级别的sstable。
如下是Hbase的大体结构:
2. 定位
Trailer–这一段是定长的。保存了每一段的偏移量,读取一个HFile时,会首先 读取Trailer,Trailer保存了每个段的起始位置(段的Magic Number用来做安全check),然后,DataBlock Index会被读取到内存中,这样,当检索某个key时,不需要扫描整个HFile,而只需从内存中找到key所在的block,通过一次磁盘io将整个 block读取到内存中,再找到需要的key。DataBlock Index采用LRU机制淘汰。
首先,能快速找到行所在的region(分区),假设表有10亿条记录,占空间1TB, 分列成了500个region, 1个region占2个G. 最多读取2G的记录,就能找到对应记录;
其次,是按列存储的,其实是列族,假设分为3个列族,每个列族就是666M, 如果要查询的东西在其中1个列族上,1个列族包含1个或者多个HStoreFile,假设一个HStoreFile是128M, 该列族包含5个HStoreFile在磁盘上. 剩下的在内存中。
再次,是排好序了的,你要的记录有可能在最前面,也有可能在最后面,假设在中间,我们只需遍历2.5个HStoreFile共300M
最后,每个HStoreFile(HFile的封装),是以键值对(key-value)方式存储,只要遍历一个个数据块中的key的位置,并判断符合条件可以了。 一般key是有限的长度,假设跟value是1:19(忽略HFile上其它块),最终只需要15M就可获取的对应的记录,按照磁盘的访问100M/S,只需0.15秒。 加上块缓存机制(LRU原则),会取得更高的效率。
感谢各位的阅读,以上就是“LSM的存储以及定位”的内容了,经过本文的学习后,相信大家对LSM的存储以及定位这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!
分享题目:LSM的存储以及定位-创新互联
网址分享:http://lswzjz.com/article/cdisop.html