Hbase架构,组件分析 ,Hbase集群搭建

谁践踏了优雅 2021-11-13 19:26 296阅读 0赞

1.hbase的架构

<table> 
 <tbody> 
 <tr> 
 <td> Hbase主要由master,regionserver,zookeeper,client,hdfs文件系统构成. <img src="https://img2018.cnblogs.com/blog/1648600/201907/1648600-20190702084045795-725342799.png" alt=""> &nbsp; &nbsp; Zk:记录hbase的表的元数据信息 hamster:进行region的分配,发出操作指令 Hlog:记录HregionServer的操作日志,保证数据的可靠性 HRegion:存储Hbase表的信息 store:Hbase表的不同列族的存储 DataNode:存储Hbase的Hlog及Hbase表的Hfile的文件持久化存储 </td> 
 </tr> 
 </tbody> 
</table>

2.hbase的组件及作用

<table> 
 <tbody> 
 <tr> 
 <td> 1）Client 访问Hbase的接口， Client中具有 cache来加速Hbase的访问，比如cache的.META.元数据的信息。 2）Zookeeper HBase通过Zookeeper来做master的高可用、RegionServer的监控、元数据的入口以及集群配置的维护等工作。 通过Zoopkeeper来保证集群中只有1个master在运行，如果master异常，会通过竞争机制产生新的master提供服务 通过Zoopkeeper来监控RegionServer的状态，当RegionSevrer有异常的时候，通过回调的形式通知Master RegionServer上下线的信息 通过Zoopkeeper存储元数据的统一入口地址 3）Hmaster master节点的主要职责如下： 为RegionServer分配Region 维护整个集群的负载均衡 维护集群的元数据信息 发现失效的Region，并将失效的Region分配到正常的RegionServer上 当RegionSever失效的时候，协调对应Hlog的拆分 4）HregionServer HregionServer直接对接用户的读写请求，是真正的“干活”的节点。它的功能概括如下： 管理master为其分配的Region 处理来自客户端的读写请求 负责和底层HDFS的交互，存储数据到HDFS 负责Region变大以后的拆分 负责Storefile的合并工作 5）HDFS HDFS为Hbase提供最终的底层数据存储服务，同时为HBase提供高可用（Hlog存储在HDFS）的支持，具体功能概括如下： 提供元数据和表数据的底层分布式存储服务 数据多副本，保证的高可靠和高可用性 </td> 
 </tr> 
 </tbody> 
</table>

3.hbase的读写流程

<table> 
 <tbody> 
 <tr> 
 <td> HBase读数据流程: 1）Client先访问zookeeper，从meta表读取region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息； 2）根据namespace、表名和rowkey在meta表中找到对应的region信息； 3）找到这个region对应的regionserver； 4）查找对应的region； 5）先从MemStore找数据，如果没有，再到BlockCache里面读； 6）BlockCache还没有，再到StoreFile上读(为了读取的效率)； 7）如果是从StoreFile里面读取的数据，不是直接返回给客户端，而是先写入BlockCache，再返回给客户端。 </td> 
 </tr> 
 <tr> 
 <td> 写入数据流程: 1）Client向HregionServer发送写请求； 2）HregionServer将数据写到HLog（write ahead log）。为了数据的持久化和恢复； 3）HregionServer将数据写到内存（MemStore）； 4）反馈Client写成功。 &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

4.hbase集群搭建

<table> 
 <tbody> 
 <tr> 
 <td> 伪分布式 : 1.hbase-env.sh中配置JAVA_HOME 2.配置hbase-site.xml如下 &lt;property&gt; &lt;name&gt;hbase.rootdir&lt;/name&gt; &lt;value&gt;file:///root/hbaserootdir&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;hbase.zookeeper.property.dataDir&lt;/name&gt; &lt;value&gt;/root/zookeeper/data&lt;/value&gt; &lt;/property&gt; &nbsp; </td> 
 </tr> 
 <tr> 
 <td> 完全分布式搭建: 设置使用自定义的zookeeper： &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 需要在hbase-env.sh中设置HBASE_MANAGES_ZK为false backup-masters配置： 
 <table style="width:553px;"> 
 <tbody> 
 <tr> 
 <td> &nbsp; node2 </td> 
 </tr> 
 </tbody> 
 </table>&nbsp; hbase-env.sh配置： 
 <table style="width:553px;"> 
 <tbody> 
 <tr> 
 <td> export JAVA_HOME=/usr/java/jdk1.7.0_80 &nbsp; export HBASE_MANAGES_ZK=false &nbsp; </td> 
 </tr> 
 </tbody> 
 </table>&nbsp; hbase-site.xml配置： 
 <table style="width:553px;"> 
 <tbody> 
 <tr> 
 <td> &nbsp;&nbsp; &lt;configuration&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;name&gt;hbase.rootdir&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;value&gt;hdfs://mycluster/hbase&lt;/value&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;/property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;name&gt;hbase.zookeeper.quorum&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;value&gt;node2,node3,node4&lt;/value&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;/property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;name&gt;hbase.zookeeper.property.dataDir&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;value&gt;/var/hbase/zookeeper&lt;/value&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;/property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;name&gt;hbase.cluster.distributed&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;value&gt;true&lt;/value&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;/property&gt; &nbsp; &lt;/configuration&gt; &nbsp; </td> 
 </tr> 
 </tbody> 
 </table>&nbsp; regionservers配置： 
 <table style="width:553px;"> 
 <tbody> 
 <tr> 
 <td> node2 node3 &nbsp; node4 &nbsp; </td> 
 </tr> 
 </tbody> 
 </table>&nbsp; 将hdfs-site.xml拷贝到hbase的conf目录 或者使用软链接,将Hadoop的配置文件软连接到hbase的配置目录 bin/start-hbase.sh&nbsp;&nbsp;&nbsp;&nbsp; bin/stop-hbase.sh&nbsp;&nbsp; bin/hbase shell HBase的WEB UI访问： HMaster：<a href="http://node1:60010/" rel="nofollow">http://node1:60010</a> </td> 
 </tr> 
 </tbody> 
</table>

转载于:https://www.cnblogs.com/eric666666/p/11118197.html