Hadoop生态架构之Hbase

迷南。 2023-06-29 08:59 28阅读 0赞

##### 1.Hbase定义 #####

HBase是一个开源的非关系型分布式数据库（NoSQL），它参考了谷歌的BigTable建模，实现  
的编程语言为 Java。  
是Apache软件基金会的Hadoop项目的一部分，运行于HDFS文件系统之上，因此可以容错地存  
储海量稀疏的数据。

##### 2.特性 #####

1.高可靠  
2.高并发读写  
3.面向列  
4.可伸缩  
5.易构建

##### 3.行存储 v s 列存储 #####

行存储  
优点：写入一次性完成，保持数据完整性  
缺点：数据读取过程中产生冗余数据，若有少量数据可以忽略  
列存储  
优点：读取过程，不会产生冗余数据，特别适合对数据完整性要求不高的大数据领域  
缺点：写入效率差，保证数据完整性方面差

##### 4.Hbase优势 #####

海量数据存储  
快速随机访问  
大量写操作的应用

##### 5.Hbase应用场景 #####

互联网搜索引擎数据存储  
海量数据写入  
消息中心  
内容服务系统（schema-free）  
大表复杂&多维度索引  
大批量数据读取

##### 6.Hbase数据模型 #####

例1：  
![format_png][]  
RowKey：是Byte array（以字节的方式存储，前后之间是按照顺序存储的，可以通过二分法检索），是表中每条记录的“主键”，方便快速查找， Rowkey的设计非常重要。  
Column Family：列族，拥有一个名称(string)，包含一个或者多个相关列  
Column：属于某一个columnfamily， familyName:columnName，每条记录可动态添加  
Version Number：类型为Long，默认值是系统时间戳，可由用户自定义  
Value(Cell)： Byte array  
例2：  
![format_png 1][]  
为了检索快速，体现了一个三维有序的特点：  
三维：1.rowkey 2.列族 3.version  
举例：  
![format_png 2][]

\{rowkey => \{family => \{qualifier => \{version => value\}\}\}\}  
a:cf1:bar:1368394583:7  
a:cf1:foo:1368394261:hello  
一维：a  
二维：cf1:bar和cf1:foo  
三维：1368394583和1368394261  
前两维按顺序排列，时间戳按倒序排列  
上表在传统数据库的形式如下：  
![format_png 3][]

##### 7.Hbase物理模型 #####

1.Hbase一张表由一个或多个Hregion（分区或区域）组成  
2.记录之间按照Row Key的字典序排列  
region举例：  
![format_png 4][]  
3.Region特点：  
1）Region是Hbase中分布式存储和负载均衡的最小单元，最小单元就表示不同的Hregion可以分布在不同的  
HRegion server上。  
2）Region按大小分割的，每个表一开始只有一个region，随着数据不断插入表， region不断增大，当增大到一个阀值（默认10G）的时候， Hregion就会等分会两个新的Hregion。当table中的行不断增多，就会有越来越多Hregion。  
3）.同一张表的两个不同的Region可能在同一台机器上，也可能在不同的机器上，如下图：  
![format_png 5][]  
3.regionserver：  
region所在的那台机器，这个机器就是regionserver，机器上的进程就是HRegionServer  
regionserver的作用：  
主要负责用户的io请求（读和写），regionserver提供一个入口，供客户端来对hdfs的一个交互  
进程  
HRegionServer的作用：HRegionServer内部管理了一系列Hregion对象  
4.Hbase物理模型  
（1）Hbase里的一张表叫Htable  
（2）按RowKey范围分的Region-> HRegion ->Region Servers  
（3）HRegion按列族（Column Family） ->多个HStore（一个Column Family就被分为一个HStore（文件））  
（4）HStore -> memstore（默认128M） + HFiles(均为有序的KV)  
（5）HFiles -> HDFS  
一个HRegion结构如下图：  
![format_png 6][]  
HRegionServer上的HRegion存储结构如下图：  
![format_png 7][]

##### 8.Hbase系统架构 #####

1.Client：访问Hbase的接口，并维护Cache加速Region Server的访问  
2.HMaster（主）：  
1.负载均衡，分配Region到RegionServer  
2.DDL：增删改–>table,cf,namespace  
3.类似于namenode，管理一些table元数据  
4.ACL权限控制  
功能：  
3.HRegionServer（从）：  
1.管理和存放本地的HRegion  
2.读写HDFS，提供IO操作  
3.本地化：HRegion的数据尽量和数据所属的DataNode在一块。但是这个本地化不能够总满足和实现  
4.Zookeeper：  
保证集群中只有一个Master  
存储所有Region的入口（ROOT）地址  
实时监控Region Server的上下线信息，并通知Master  
系统架构图：  
![format_png 8][]  
![format_png 9][]

##### 9.Hbase的容错 #####

1.Master容错：  
Zookeeper重新选择一个新的Master  
无Master过程中，数据读取仍照常进行；  
无master过程中， region切分、负载均衡等无法进行  
2.Region Server容错：  
定时向Zookeeper汇报心跳，如果一旦时间内未出现心跳， Master将该RegionServer上的  
Region重新分配到其他RegionServer上，失效服务器上“预写”日志由主服务器进行分割  
并派送给新的RegionServer  
3.Zookeeper容错：  
Zookeeper是一个可靠地服务，一般配置3或5个Zookeeper实例

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xODE1NDM5MS1mMDFmMDU2Yjk2OTZiOTUzLnBuZw?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xODE1NDM5MS1hZjE5OGM4ZGQzODgxOGZmLnBuZw?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xODE1NDM5MS0wMWI4MWE3ZTMwYjQxMzQ1LnBuZw?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xODE1NDM5MS1jYzY4MTRhZDhjZmRhYTM5LnBuZw?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xODE1NDM5MS01N2EwOTZjZjY0NzM3N2JkLnBuZw?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xODE1NDM5MS01ZjRlMWEwNWVmMDI0YjkyLnBuZw?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xODE1NDM5MS1jMTYwZDA2NDU5NTdmODI3LnBuZw?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xODE1NDM5MS0wYTAwMmY2YzdhMmFjNmI5LnBuZw?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xODE1NDM5MS05YmZkZGViYTBjN2M1ZTdkLnBuZw?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xODE1NDM5MS03MTU5N2I5ZDFhZTI2ZTAxLnBuZw?x-oss-process=image/format,png