Hbase 核心组件的原理和作用概览，必看！

浅浅的花香味﹌ 2023-02-15 03:57 12阅读 0赞

![format_png][]

点击上方蓝色字体，关注我们

![format_png 1][]

###     ###

![format_png 2][]

前言

![format_png 3][]

HBase，是基于Google Bigtable实现的开源、分布式、可伸缩的列式存储数据库。

诞生于Hadoop，也是Hadoop生态的重要一环，如今作为一个Apache顶级项目，早已经不能将其仅仅看作Hadoop的一部分，基于Storm，Spark等框架的数据处理方案中，都有它的身影，可以说它已经成为大数据工具箱中非常重要的一种数据存储工具，也因此必然会被很纳入很多人学习计划。

对于任何一个新技术的介绍，我认为一种有效的学习方式是：对其有简要认知后，通过Quick Start式的使用，获得直观的感知，消除距离感，然后再带着使用过程中的疑问去了解其背后的真相，最后支撑我们将其应用到实际工程。

###  ###

###     ###

![format_png 2][]

从关系型数据库模型来演变理解Hbase

![format_png 3][]

在说Hase是个啥家伙之前，首先我们来看看两个概念，面向行存储和面向列存储。

面向行存储，我相信大伙儿应该都清楚，我们熟悉的RDBMS就是此种类型的，面向行存储的数据库主要适合于事务性要求严格场合，或者说面向行存储的存储系统适合OLTP。

但是根据CAP理论，传统的RDBMS，为了实现强一致性，通过严格的ACID事务来进行同步，这就造成了系统的可用性和伸缩性方面大大折扣，而目前的很多NoSQL产品，包括Hbase，它们都是一种最终一致性的系统，它们为了高的可用性牺牲了一部分的一致性。好像，我上面说了面向列存储，那么到底什么是面向列存储呢？

相信各位对Mysql的概念比较熟，那我们从Mysql入手来介绍。

假如系统中有一个User表，如果按照传统的RDBMS的话，User表中的列是固定的，比如schema 定义了name,age,sex等属性。

![format_png 4][]

这种关系型数据结构的存储相信已经是非常熟悉了。但在Hbse，或是说在Nosql里面，却不是这样了。

![format_png 5][]

新技术的学习，避免不了又是学习很多的术语，在解释之前，我们先说说在Hbase里面的术语。

表(table)：一张表中包含若干行。

行(row)：一行包括一个行键(row key)和若干列族，一张表中的行按照行键排序，并用行键作为索引。图中展示了一个行键为1、2、3的行。列族(column family)：每个列族包含若干个列，列族需要在建表时预定义，运行期间可以动态加入新的列。图中的"private"、"public"就是row1行中的两个列族。

在物理层面，HBase的数据存储是在列族这一层级进行组织，每个列族单独存储。所以一般我们在开发中，指定列族名就用一个字母，并且不会超过两个。

列(column)：每个列都归属于某个列族，以列族名作为前缀，通常使用列族名：修饰符的形式来标识一个列，可以将其中的修饰符部分看作列名。图中的"private:name"和"priavte:phone"即是列族private中的成员。

![format_png 6][]

单元格(cell)：存储的每一个值存放在一个单元格中，由\[行，列，版本号\]来唯一指向一个单元格。

版本(version)：版本号默认是时间戳形式，同一列中可能包含若干单元格，这些单元格由版本号唯一区分，根据版本号降序排列，HBase查询时，如果不指定版本号，默认返回最新的值。版本是HBase多维特性的表现。

HBase 与Mysql关系型数据库非常不一样。HBase 是一个稀疏的、分布式、持久、多维、排序的映射，它以行键（row key），列键（column key）和时间戳（timestamp）为索引。你可能会听到人们称呼它为 key-value 存储的、面向列族的数据库，或者是存储不同版本的映射的映射的数据库。

###     ###

![format_png 2][]

理解Column Family和RegionServer

![format_png 3][]

![format_png 7][]

从关系型数据库模型来辅助理解，好像是一张表，被两个列族垂直纵向切割了。每一个切割的单元，我们就把它称之为一个列族。

如果纵向的切割，称之为列族，那横向的切割是什么？

![format_png 8][]

对，没错，就是RegionServer，除了RegionServer，hbase里面还有其他的组件。先从粗粒度对HBase的架构进行简单了解吧：HMaster：主要负责监控集群、管理RegionServers的负责均衡等，可以用主-备形式部署多个Master。

HRegionServers：负责响应用户的I/O操作请求，客户端对HBase读写数据是与RegionServer交互。

Zookeeper：负责选举Master的主节点；服务注册；保存RegionServers的状态等。可以使用系统内建的zookeeper，也可以使用独立的zookeeper，只需要在配置文件中调整即可。

HDFS：真正的数据持久层，并非必须是HDFS文件系统，但搭配HDFS是最佳选择，也是目前应用最广泛的选择。

###     ###

![format_png 2][]

整体的理解Hbase架构

![format_png 3][]

![format_png 9][]

相关组件的介绍如下：

##  ##

Client

包含访问HBase的接口并维护cache来加快对HBase的访问 Zookeeper

保证任何时候，集群中只有一个master 存贮所有Region的寻址入口。实时监控Region server的上线和下线信息。并实时通知Master 存储HBase的schema和table元数据。

##  ##

Master

为Region server分配region 负责Region server的负载均衡 发现失效的Region server并重新分配其上的region 管理用户对table的增删改操作。

##  ##

RegionServer

Region server维护region，处理对这些region的IO请求 Region server负责切分在运行过程中变得过大的region　。

##  ##

HLog(WAL log)

HLog文件就是一个普通的Hadoop Sequence File，Sequence File 的 Key 是 HLogKey 对象，HLogKey中记录了写入数据的归属信息，除了table和 region名字外，同时还包括sequence number和timestamp，timestamp 是” 写入时间”，sequence number 的起始值为0，或者是最近一次存入文件系 统中sequence number。HLog SequeceFile的Value是HBase的KeyValue对象，即对应HFile中的 KeyValue。

##  ##

Region

HBase 自动把表水平划分成多个区域 (region)，每个 region 会保存一个表里面某段连续的数据；每个表一开始只有一个 region，随着数据不断插入表，region不断增大，当增大到一个阀值的时候，region就会等分会 两个新的 region（裂变）；当 table 中的行不断增多，就会有越来越多的 region。这样一张完整的表 被保存在多个 Regionserver 上。

##  ##

Memstore 与 storefile

一个  region 由多个 store 组成，一个store对应一个 CF（列族） store 包括位于内存中的memstore和位于磁盘的 storefile写操作先写入 memstore，当 memstore 中的数据达到某个阈值，hregionserver会启动flashcache进程写入 storefile ，每次写入形成单独的一个storefile 当storefile文件的数量增长到一定阈值后，系统会进行合并（minor、 major compaction），在合并过程中会进行版本合并和删除工作 （majar），形成更大的storefile。当一个region所有storefile的大小和超过一定阈值后，会把当前的region分割为两个，并由hmaster分配到相应的regionserver服务器，实现负载均衡。

客户端检索数据，先在 memstore 找，找不到再找storefile HRegion是HBase中分布式存储和负载均衡的最小单元。最小单元就表示不同的HRegion可以分布在不同的HRegion server上。HRegion 由一个或者多个 Store 组成，每个store保存一个 columns family。每个 Strore 又由一个 memStore 和 0 至多个 StoreFile 组成。

归纳总结如下图：

![format_png 10][]

###     ###

![format_png 2][]

总结

![format_png 3][]

本文从关系型数据库和Nosql数据库进行对比，介绍了Hbase的基本组成部分。从关系型数据库模型来演变理解Hbase。从整体上理解Hbase的架构以及其内部各个核心组件的原理和作用。

长路漫漫，未来可期，回复 加群，一同砥砺前行

![format_png 11][]

[为什么你的 Spring Task 定时任务没有定时执行？][Spring Task]

[搞java开发，看懂JVM的GC日志真的很重要][java_JVM_GC]

[一次容器化springboot程序OOM问题探险][springboot_OOM]

[Java 应用性能调优的一些实践][Java]

[可视化界面在线生成JVM参数][JVM]

[一次线上故障：数据库连接池泄露后的思考][Link 1]

[java内存溢出问题分析过程二(附MAT超全操作文档)][java_MAT]

[使用Eclipse Memory Analyzer Tool（MAT）分析线上故障(一)][Eclipse Memory Analyzer Tool_MAT]

[一文让你理解什么是shallow heap及retained heap][shallow heap_retained heap]

[内存分析诊断系列-理解heap dump][-_heap_dump]

![format_png 12][]

麻烦点一下在看再走呗

![format_png 13][]

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9FZUpTdXJyRnVYTjhrNzR4dEJwZWljdVhXTXk5QWptVHM2Q3pMR1JmcDVLRnpKNDlFVlNYRFRZajJudHVUb0JOdGVuVGpDRUVaQnVldXRoRElnTzl5TEEvNjQw?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy94aWNXWVRTSUN6UnUzR3VVT2ljTklDb0xuZ0dXRFFyTEdFN3N6cnphQUtEVEVoN1lpYzFXMmliN25LSEpuQTJmVFNpYlNSbDZERzkyWkNyOGNaV0VUM3M2RzlBLzY0MA?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9jNmdxbWhXaWFmeXJKR25BNmlhSkVoRkJHSmVXMHBZSUNZcmtOeWs5RDExOXptUXpjYnlybXU2aWFkdk9pYURyV083b1YzRGljaWFLelRTaGhjRTBBZnQyWUp4Zy82NDA?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9UTjA1TW1KTHhNcmxVN2ljSmd1R0M0RDZxMGx2Y3ZvNnZheEFXTUI0RUN5U2FydzVlQTQ2REhtSW1WdWZaa0FwaWJFM05QRHMwazdyUUdjU3VEWHZWZ2d3LzY0MA?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnUzR3VVT2ljTklDb0xuZ0dXRFFyTEdFUWVsRDRxQkFYbTNDOGVaTWlhUE40SUU5R3FpYllLYXhrS0c3am5oaFpPZUJLaWFJMWljMzFnbHVJdy82NDA?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnUzR3VVT2ljTklDb0xuZ0dXRFFyTEdFcndNa1ZBVmZEbEpERlpXdHhqdUtkdkszbHdCbFB5eGlhVlVoZEZwU0hiNk54R2JpYUFLbGEwTHcvNjQw?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnUzR3VVT2ljTklDb0xuZ0dXRFFyTEdFN2Q4U25EMVdlckFtcE5taWNwWmxhTlc2YnNJWlQ2ejBlNTE5OUJpYzVjUVBHM2ZVQnpIRkhoTlEvNjQw?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnUzR3VVT2ljTklDb0xuZ0dXRFFyTEdFeEpNWDhhckVuOHhoRlJ4VWRNdlh3c1hvd2pNaG5UY0VEUW1nQ25QM2w5djhNaWFpY3Q1YTExaWNnLzY0MA?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnUzR3VVT2ljTklDb0xuZ0dXRFFyTEdFallKc0VsRFU2bGNheDBGUE5xVFVVaG5SeERyWjNXOUZpY292dGhtV3ZKYzlaT2c3eHRoUmE2US82NDA?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnUzR3VVT2ljTklDb0xuZ0dXRFFyTEdFazJjNGliY0p1cEw1NW5Bd1B2WVZpY0ticVI0aHAwTTMwYWliaHlvMVM2VmxtRFFVUW5hVFpjZzJnLzY0MA?x-oss-process=image/format,png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnUzR3VVT2ljTklDb0xuZ0dXRFFyTEdFN2NkbDNpYnNPM002SzBWVmhRdkdZQTV6V3pTa0pJYWljT2tZMjBtVTlFcjlydkZRaHRhUXNUR1EvNjQw?x-oss-process=image/format,png
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi94aWNXWVRTSUN6UnRDYWxzMWRGZFVjZ1lTWDVFMFhQN2liWklsc2FpYzNnMGg5TWtDT2VONkI5aWNuOHJCa3Z0TnBWbmxoc2hGQ1BxNHFXcjFxMnJYdk5HSmcvNjQw?x-oss-process=image/format,png
[Spring Task]: https://blog.csdn.net/u012811805/article/details/105131364
[java_JVM_GC]: https://blog.csdn.net/u012811805/article/details/105131324
[springboot_OOM]: https://blog.csdn.net/u012811805/article/details/101085547
[Java]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f7dccb337ecadd6f748c4d5aae213003d3cc40c501d9865591e18539343083070888203b&idx=1&mid=2247484133&scene=21&sn=70156fc59563970321007d04a3d160b0#wechat_redirect
[JVM]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f7e6cb337ef0bf114949eec1eb93e404f8ae64988a03cdc53a014119f496172a5de568f4&idx=1&mid=2247484127&scene=21&sn=92e774ee1edc2dd0013c60f1347d0fe6#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f709cb337e1f72b4f5458c84f59b7e2a5126f1d206781eaa11873df355479bfeb7bf04b1&idx=1&mid=2247483952&scene=21&sn=3bc726a6ea135a77c34d0b9c18447b8b#wechat_redirect
[java_MAT]: https://blog.csdn.net/u012811805/article/details/104770774
[Eclipse Memory Analyzer Tool_MAT]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f7e8cb337efe3c8a0d65fdcad6021c841cd5c00c47e20b09ff7fa31470a29865cda12a0a&idx=1&mid=2247484113&scene=21&sn=2f603fec4d105d832db0783369b9fe57#wechat_redirect
[shallow heap_retained heap]: https://blog.csdn.net/u012811805/article/details/104737895
[-_heap_dump]: http://mp.weixin.qq.com/s?__biz=MzU2NDc4MjE2Ng%3D%3D&chksm=fc44f794cb337e82fdcd6ad918d1a490d90908b6f453ddb45ad55b4a24a8b749e09baa9cc7a8&idx=1&mid=2247484077&scene=21&sn=5ae695faef094c78f2aa257b58b3034a#wechat_redirect
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy94aWNXWVRTSUN6UnZ6aGRLck1pY1NQSWliZzhQRWJPa2E4bmpjOHJFZmFLa09YTHAyd21wckxpY0JRaWNYMWlhdVFzWEdTTDlpYXhreFZTb3RQQ2F2U2hva1NvVHcvNjQw?x-oss-process=image/format,png
[format_png 13]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi94aWNXWVRTSUN6UnUzR3VVT2ljTklDb0xuZ0dXRFFyTEdFd0ltd09lN3Z2MjNraWFuclY3OXl1aFBydTBlSEdodDhVU000MEtxRFExWWwwdUNaeUFHbkttZy82NDA?x-oss-process=image/format,png