HBase快速入门系列(5) | Hbase原理

大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客主页：https://buwenbuhuo.blog.csdn.net/

此篇为大家带来的是Hbase原理。

目录

一. HBase的数据读取流程

二. RegionServer 架构

二. HBase的数据的写入流程

三. 数据Flush过程

四. 数据合并过程

一. HBase的数据读取流程

如果上图过程不是很懂，下面博主再制作一幅图供大家理解

1.Client先访问zookeeper，从meta表读取region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息；

2.根据namespace、表名和rowkey在meta表中找到对应的region信息；

3.找到这个region对应的regionserver；

4.查找对应的region；

5.先从MemStore找数据，如果没有，再到BlockCache里面读；

6.BlockCache还没有，再到StoreFile上读(为了读取的效率)；

7.如果是从StoreFile里面读取的数据，不是直接返回给客户端，而是先写入BlockCache，再返回给客户端。

二. RegionServer 架构

1.StoreFile

保存实际数据的物理文件，StoreFile以Hfile的形式存储在HDFS上。每个Store会有一个或多个StoreFile（HFile），数据在每个StoreFile中都是有序的。

2.MemStore

写缓存，由于HFile中的数据要求是有序的，所以数据是先存储在MemStore中，排好序后，等到达刷写时机才会刷写到HFile，每次刷写都会形成一个新的HFile。

3.WAL

由于数据要经MemStore排序后才能刷写到HFile，但把数据保存在内存中会有很高的概率导致数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，然后再写入MemStore中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。

4.BlockCache

读缓存，每次查询出的数据会缓存在BlockCache中，方便下次查询。

二. HBase的数据的写入流程

如果上图过程不是很懂，下面博主再制作一幅图供大家理解

1.Client向HregionServer发送写请求；

2.HregionServer将数据写到HLog（write ahead log）。为了数据的持久化和恢复；

3.HregionServer将数据写到内存（MemStore）；

4.反馈Client写成功。

三. 数据Flush过程

1.当MemStore数据达到阈值（默认是128M，老版本是64M），将数据刷到硬盘，将内存中的数据删除，同时删除HLog中的历史数据；

2.并将数据存储到HDFS中；

3.在HLog中做标记点。

四. 数据合并过程

1.当数据块达到4块，Hmaster触发合并操作，Region将数据块加载到本地，进行合并；

2.当合并的数据超过256M，进行拆分，将拆分后的Region分配给不同的HregionServer管理；

3.当HregionServer宕机后，将HregionServer上的hlog拆分，然后分配给不同的HregionServer加载，修改.META.；

4.注意：HLog会同步到HDFS。

本次的分享就到这里了,

好书不厌读百回，熟读课思子自知。而我想要成为全场最靓的仔，就必须坚持通过学习来获取更多知识，用知识改变命运，用博客见证成长，用行动证明我在努力。

如果我的博客对你有帮助、如果你喜欢我的博客内容，请“” “评论”“”一键三连哦！听说的人运气不会太差，每一天都会元气满满呦！如果实在要白嫖的话，那祝你开心每一天，欢迎常来我博客看看。

码字不易，大家的支持就是我坚持下去的动力。后不要忘了关注我哦！

HBase

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。