在hadoop2.8的HA+zookeeper的环境下安装分布式HBase 1.2.5 以及HMaster的高可用(HA)

àì夳堔傛蜴生んèń 2022-06-14 02:24 177阅读 0赞

[书接上回http://write.blog.csdn.net/postedit][http_write.blog.csdn.net_postedit]

http://write.blog.csdn.net/postedit

在上次我们搭建了hadoop2.8的高可用NameNode的HA环境，并引入了zookeeper

这次我们要在这个环境的基础上搭建hbase

# 先说规划 #

<table> 
 <tbody> 
 <tr> 
 <td>编号 </td> 
 <td>主机名 </td> 
 <td>用途 </td> 
 </tr> 
 <tr> 
 <td>0 </td> 
 <td>xxCentosZero </td> 
 <td>HMaster(备用，尚未加入) </td> 
 </tr> 
 <tr> 
 <td>1 </td> 
 <td>xxCentosOne </td> 
 <td>HMaster </td> 
 </tr> 
 <tr> 
 <td>2 </td> 
 <td>xxCentosTwo </td> 
 <td>HRegionServer </td> 
 </tr> 
 <tr> 
 <td>3 </td> 
 <td>xxCentosThree </td> 
 <td>HRegionServer </td> 
 </tr> 
 <tr> 
 <td>4 </td> 
 <td>xxCentosFour </td> 
 <td>HRegionServer </td> 
 </tr> 
 </tbody> 
</table>

如上所示，暂时没有加入xxCentosZero到HMaster的集群中

先说搭建的过程吧。

# 一、下载与部署 #

0，首先要注意的是hbase与hadoop的版本的对应匹配关系。[详见官网][Link 1]

![Center][]

1，[点击这里下载hbase][hbase]的稳定版

2，放到/usr/local/下解压缩，改名为hbase

3，配置环境变量，修改/etc/profile

![Center 1][]

# 二、修改配置文件 #

## 1，修改/usr/local/hbase/conf/hbase-env.sh 环境变量文件，主要修改以下几个地方 ##

# The java implementation to use. Java 1.7+ required. #jdk的安装目录 export JAVA_HOME=/usr/local/java/jdk1.7.0_79

# Extra Java CLASSPATH elements. Optional. #用到的一些外部jar包的路径，有人这里写的是/usr/local/hbase/conf这个路径，我觉得是否写错了啊 export HBASE_CLASSPATH=/usr/local/hadoop/etc/hadoop

# The maximum amount of heap to use. Default is left to JVM default. # hbase用到的总体的堆内存的量。但是不确定写成“400M”这个样式会否被正确识别。同时我的虚拟机仅有1G内存分配给它们，所以我没有显式指定 # export HBASE_HEAPSIZE=400m

# Tell HBase whether it should manage it's own instance of Zookeeper or not. #如果用的是自己安装的zookeeper，这里就写成false，如果用的是hbase自带zookeeper，就是true。 export HBASE_MANAGES_ZK=false

## 2，修改/usr/local/hbase/conf/hbase-site.xml配置文件。分为简化版和比较详细版 ##

先来个简化版

<configuration>  <property> <name>hbase.rootdir</name> <value>hdfs://xxCentosOne:9000/hbase</value> </property>  <property> <name>hbase.cluster.distributed</name> <value>true</value> </property>  <property> <name>hbase.zookeeper.quorum</name> <value>xxCentosZero:2181,xxCentosOne:2181,xxCentosTwo:2181,xxCentosThree:2181,xxCentosFour:2181</value> </property>  <property> <name>hbase.zookeeper.property.dataDir</name> <value>/usr/local/zookeeper/data</value> </property> </configuration>

再来个较详细版

<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://xxCentosOne:9000/hbase</value> </property>  <property> <name>hbase.cluster.distributed</name> <value>true</value> </property>  <property> <name>hbase.master</name> <value>xxCentosOne:60000</value> </property> <property> <name>hbase.tmp.dir</name> <value>/usr/local/hbase/tmp</value> </property>   <property> <name>hbase.client.write.buffer</name> <value>5242880</value> </property>  <property> <name>hbase.regionserver.handler.count</name> <value>20</value> </property>  <property> <name>hbase.hregion.max.filesize</name> <value>134217728</value> </property>  <property> <name>hbase.hregion.majorcompaction</name> <value>0</value> </property>  <property> <name>dfs.replication</name> <value>2</value> </property>  <property> <name>hbase.regionserver.region.split.policy</name> <value>org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy</value> </property>  <property> <name>hbase.regionserver.optionalcacheflushinterval</name> <value>7200000</value> </property>  <property> <name>hfile.block.cache.size</name> <value>0.3</value> </property>  <property> <name>hbase.hregion.memstore.flush.size</name> <value>52428800</value> </property>  <property> <name>hbase.regionserver.global.memstore.size</name> <value>0.5</value> </property>  <property> <name>hbase.regionserver.global.memstore.size.lower.limit</name> <value>0.5</value> </property>  <property> <name>dfs.client.socket-timeout</name> <value>600000</value> </property>  <property> <name>hbase.table.sanity.checks</name> <value>false</value> </property>  <property>  <name>zookeeper.session.timeout</name> <value>30000</value> </property>  <property> <name>hbase.zookeeper.quorum</name> <value>xxCentosZero:2181,xxCentosOne:2181,xxCentosTwo:2181,xxCentosThree:2181,xxCentosFour:2181</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/usr/local/zookeeper/data</value> </property> </configuration>

我本地使用的是这个较详细版本。

## 3，修改/usr/local/hbase/conf/regionservers ##

xxCentosTwo xxCentosThree xxCentosFour

需要修改的配置文件基本来说就这三个，但是需要注意的是

因为hbase所支持的最稳定的hadoop版本未必与你下载的hadoop版本一致，所以建议最好将你的hadoop中的一些jar包替换到hbase

安全起见，我是把/usr/local/hbase/lib/路径下的hadoop开头的jar包都替换了一遍，旧版本改名做备份，以便恢复用

![Center 2][]

然后分发到各个服务器上

# 三、启动 #

在保证hadoop和zookeeper启动的前提下，启动hbase即可

/usr/local/hbase/bin/start-hbase.sh

如果正常启动，可以看到hbase的主页了

![Center 3][]

在HMaster服务器上执行hbase shell能看到类似下面的东西

![Center 4][]

上图是没有报错的正常情况

# 四、说说遇到的问题吧 #

## 1：zookeeper和hdfs最好重新格式化    ##

本来以为，在启动过hbase之后甚至启动hbase之前，需要重新格式化一次zookeeper。以确保在zookeeper的目录下，产生hbase相关的东西。不过我最终没有做格式化zookeeper这一步，但是在zookeeper的目录下仍然看到对应的目录了。

但是在第一次启动之后，执行hbase shell看到一些报错信息

SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/usr/hbase/lib/slf4j-log4j12-1.6.4.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/usr/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.

开始以为没啥要紧的，然后偶然看到别人的帖子，才知道这是个异常信息  
需要删掉重复的jar包，也就是删掉下面的这个即可

/usr/hbase/lib/slf4j-log4j12-1.6.4.jar

## 2：重新格式化后的报错信息 ##

ERROR:org.apache.hadoop.hbase.PleaseHoldException: Master is initializing

网上搜了下，发现hbase-site.xml中的hbase.rootdir对应的value没有端口号。加上再分发到每个服务器，重启就好了。

其实就是最早我的hbase-site.xml是这样的

<property> <name>hbase.rootdir</name> <value>hdfs://lwns/hbase</value> </property>

既没有端口号，同时我写的是HA的别名，然后我开始保持集群名不变，加上了端口号9000.启动，

执行hbase shell进入后，执行status或list，仍然报错。但是错误信息改变了，如下所示

ERROR: Can't get master address from ZooKeeper; znode data == null

有的说重启hbase就好了。还有的说要重新格式化hadoop的namenode  
我选择先重启。发现起不来。查看日志，显示如下

java.lang.RuntimeException: Failed construction of Master: class org.apache.hadoop.hbase.master.HMaster. at org.apache.hadoop.hbase.master.HMaster.constructMaster(HMaster.java:2512) at org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMasterCommandLine.java:231) at org.apache.hadoop.hbase.master.HMasterCommandLine.run(HMasterCommandLine.java:137) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76) at org.apache.hadoop.hbase.util.ServerCommandLine.doMain(ServerCommandLine.java:126) at org.apache.hadoop.hbase.master.HMaster.main(HMaster.java:2522) Caused by: java.io.IOException: Port 9000 specified in URI hdfs://lwns:9000/hbase but host 'lwns' is a logical (HA) namenode and does not use port information. at org.apache.hadoop.hdfs.NameNodeProxiesClient.createFailoverProxyProvider(NameNodeProxiesClient.java:254) at org.apache.hadoop.hdfs.NameNodeProxiesClient.createProxyWithClientProtocol(NameNodeProxiesClient.java:124) at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:343) at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:287) at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:156) at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2811) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:100) at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2848) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2830) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:389) at org.apache.hadoop.fs.Path.getFileSystem(Path.java:356) at org.apache.hadoop.hbase.util.FSUtils.getRootDir(FSUtils.java:1003) at org.apache.hadoop.hbase.regionserver.HRegionServer.initializeFileSystem(HRegionServer.java:609) at org.apache.hadoop.hbase.regionserver.HRegionServer.<init>(HRegionServer.java:564) at org.apache.hadoop.hbase.master.HMaster.<init>(HMaster.java:412) at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:526) at org.apache.hadoop.hbase.master.HMaster.constructMaster(HMaster.java:2505) ... 5 more

考虑还是我的hbase-site.xml的“hbase.rootdir”属性的问题。我改成不使用hadoop的HA的别名，直接使用HMaster的主机名

<property> <name>hbase.rootdir</name> <value>hdfs://xxCentosOne:9000/hbase</value> </property>

这样修改后，再次重新启动hbase，启动ok。

3、解决了上面的问题后，执行hbase shell，进入执行list，再次有问题

又出现第一次的错误ERROR:org.apache.hadoop.hbase.PleaseHoldException: Master is initializing  
继续查，网上说可以尝试先分别启动regionserver，再启动hmaster，我尝试了，仍然同样的问题。

只好尝试删除NameNode的tmp文件夹和zookeeper的data文件夹下的version内容，然后重新格式化NameNode和zookeeper

为了安全起见，将/usr/local/hadoop/journalnode/下的内容也一起删除。

这是因为在格式化zk和hadoop的namenode的时候，会涉及到JournalNode的东西

然后我先把每台hadoop中的tmp文件夹清空，再把somedata文件夹清空(这个文件夹是存放NameNode或DataNode节点的数据的，

同时它是在hdfs-site.xml配置文件的dfs.namenode.name.dir和dfs.datanode.name.dir里面对应的路径得到的)

然后再把zookeeper下的data路径下的version-2文件夹清空(zoo.cfg中的dataDir键对应的值)

后面的格式化和重启过程在这里就不赘述了。详见[上一篇文章][http_write.blog.csdn.net_postedit]

该格式化和重启的都弄完，重启hbase，跟踪日志，发现错误如下

2017-06-07 00:48:57,661 INFO [xxCentosOne:16000.activeMasterManager] zookeeper.MetaTableLocator: Failed verification of hbase:meta,,1 at address=xxcentosfour, 16020,1496766839655, exception=org.apache.hadoop.hbase.NotServingRegionException: Region hbase:meta,,1 is not online on xxcentosfour,16020,1496767744442 at org.apache.hadoop.hbase.regionserver.HRegionServer.getRegionByEncodedName(HRegionServer.java:2942) at org.apache.hadoop.hbase.regionserver.RSRpcServices.getRegion(RSRpcServices.java:1072) at org.apache.hadoop.hbase.regionserver.RSRpcServices.getRegionInfo(RSRpcServices.java:1356) at org.apache.hadoop.hbase.protobuf.generated.AdminProtos$AdminService$2.callBlockingMethod(AdminProtos.java:22233) at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:2188org.apache.hadoop.fs.PathIsNotEmptyDirectoryException) at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:112) at org.apache.hadoop.hbase.ipc.RpcExecutor.consumerLoop(RpcExecutor.java:133) at org.apache.hadoop.hbase.ipc.RpcExecutor$1.run(RpcExecutor.java:108) at java.lang.Thread.run(Thread.java:745)

然后再报出这个错误之前，还有一个错误，就是hbase.hregion.max.filesize这个键对应的值不正确  
我配置的值是"128M"。既然说不对，我查了下网上的别人写法，有人写成"1G"，有人写成"134217728"这样的形式，我选择了后者。修改并分发到所有主机上  
再重启，上面的"Failed verification of hbase"仍然会出现，但是我再执行"hbase shell"和"status","list"都不会报错了。说明可以正常启动了。

# 2017-06-07：追加报错与解决    #

当我重启了几台虚拟机之后，再次启动hbase，发现hmaster服务器的日志中还是有报错信息，然后我追查了一下

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.fs.PathIsNotEmptyDirectoryException): `/hbase/WALs/xxcentosthree,16020,1496845541229-splitting is non empty': Directory is not empty at org.apache.hadoop.hdfs.server.namenode.FSDirDeleteOp.delete(FSDirDeleteOp.java:115) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.delete(FSNamesystem.java:2783) at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.delete(NameNodeRpcServer.java:1047) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.delete(ClientNamenodeProtocolServerSideTranslatorPB.java:626) at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java) at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:447) at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:989) at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:845) at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:788) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1807) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2455) at org.apache.hadoop.ipc.Client.getRpcResponse(Client.java:1481) at org.apache.hadoop.ipc.Client.call(Client.java:1427) at org.apache.hadoop.ipc.Client.call(Client.java:1337) at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:227) at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:116) at com.sun.proxy.$Proxy14.delete(Unknown Source) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.delete(ClientNamenodeProtocolTranslatorPB.java:559) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:398) at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeMethod(RetryInvocationHandler.java:163) at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invoke(RetryInvocationHandler.java:155) at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeOnce(RetryInvocationHandler.java:95) at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:335) at com.sun.proxy.$Proxy15.delete(Unknown Source) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) at org.apache.hadoop.hbase.fs.HFileSystem$1.invoke(HFileSystem.java:279) at com.sun.proxy.$Proxy16.delete(Unknown Source) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) at org.apache.hadoop.hbase.fs.HFileSystem$1.invoke(HFileSystem.java:279) at com.sun.proxy.$Proxy16.delete(Unknown Source) at org.apache.hadoop.hdfs.DFSClient.delete(DFSClient.java:1642) at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:794) at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:791) at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81) at org.apache.hadoop.hdfs.DistributedFileSystem.delete(DistributedFileSystem.java:791) at org.apache.hadoop.hbase.master.SplitLogManager.splitLogDistributed(SplitLogManager.java:296) at org.apache.hadoop.hbase.master.MasterFileSystem.splitLog(MasterFileSystem.java:398) at org.apache.hadoop.hbase.master.MasterFileSystem.splitMetaLog(MasterFileSystem.java:313) at org.apache.hadoop.hbase.master.MasterFileSystem.splitMetaLog(MasterFileSystem.java:304) at org.apache.hadoop.hbase.master.HMaster.splitMetaLogBeforeAssignment(HMaster.java:1046) at org.apache.hadoop.hbase.master.HMaster.assignMeta(HMaster.java:976) at org.apache.hadoop.hbase.master.HMaster.finishActiveMasterInitialization(HMaster.java:783) at org.apache.hadoop.hbase.master.HMaster.access$600(HMaster.java:189) at org.apache.hadoop.hbase.master.HMaster$2.run(HMaster.java:1803) at java.lang.Thread.run(Thread.java:745)

开始以括号前面的条件作为条件去百度，结果得到的都是乱七八糟的东西。感觉有问题

然后以括号内为条件去百度。有一个帖子对我有点借鉴作用[HBase简介][HBase]

其中有一段就说这个报错的。里面说进入hadoop系统，删除为空的目录即可。因为那个目录不是普通的linux文件系统的目录

然后我执行hadoop fs -ls /hadoop/WALs发现

ls: Port 9000 specified in URI hdfs://lwns:9000 but host 'lwns' is a logical (HA) namenode and does not use port information.

很奇怪的错误，字面意思是这个HA的别名不应该有端口号

然后我检查了一下我的hadoop下的core-site.xml文件fs.defaultFS这个键对应的值中，果然有端口号

然后去掉端口号，分发到其他服务器上。重启。却告诉我有一个文件找不到

stopping hbasecat: /tmp/hbase-root-master.pid: No such file or directory

看了一下，确实没有，然后去其他的regionserver服务器上看了一下对应路径下，却是有那些HRegionServer的pid的文件

其实就是记录了当前这个HRegionServer或者HMaster的进程号。

jps了一下那几个HRegionServer的服务器，发现HRegionServer进程都存在

然后在HMaster服务器上jps，不存在这个进程。。。。

考虑直接启动HMaster试试看

单独启动某台服务器的regionserver /usr/local/hbase/bin/hbase-daemon.sh start regionserver 启动集群所有regionserver /usr/local/hbase/bin/hbase-daemons.sh start regionserver 单独启动hmaster /usr/local/hbase/bin/hbase-daemon.sh start master

同时跟踪日志，发现报错

2017-06-08 05:22:47,566 FATAL [xxCentosOne:16000.activeMasterManager] master.HMaster: Unhandled exception. Starting shutdown. org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby. Visit https://s.apache.org/sbnn-error at org.apache.hadoop.hdfs.server.namenode.ha.StandbyState.checkOperation(StandbyState.java:88) at org.apache.hadoop.hdfs.server.namenode.NameNode$NameNodeHAContext.checkOperation(NameNode.java:1896) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkOperation(FSNamesystem.java:1346) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getFileInfo(FSNamesystem.java:2924) at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.getFileInfo(NameNodeRpcServer.java:1106) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.getFileInfo(ClientNamenodeProtocolServerSideTranslatorPB.java:858) at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java) at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:447) at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:989) at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:845) at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:788) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1807) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2455) at org.apache.hadoop.ipc.Client.getRpcResponse(Client.java:1481) at org.apache.hadoop.ipc.Client.call(Client.java:1427) at org.apache.hadoop.ipc.Client.call(Client.java:1337) at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:227) at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:116) at com.sun.proxy.$Proxy14.getFileInfo(Unknown Source) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getFileInfo(ClientNamenodeProtocolTranslatorPB.java:787) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:398) at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeMethod(RetryInvocationHandler.java:163) at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invoke(RetryInvocationHandler.java:155) at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeOnce(RetryInvocationHandler.java:95) at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:335) at com.sun.proxy.$Proxy15.getFileInfo(Unknown Source) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) at org.apache.hadoop.hbase.fs.HFileSystem$1.invoke(HFileSystem.java:279) at com.sun.proxy.$Proxy16.getFileInfo(Unknown Source) at org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java:1700) at org.apache.hadoop.hdfs.DistributedFileSystem$27.doCall(DistributedFileSystem.java:1436) at org.apache.hadoop.hdfs.DistributedFileSystem$27.doCall(DistributedFileSystem.java:1433) at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81) at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1433) at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:1436) at org.apache.hadoop.hbase.master.MasterFileSystem.checkRootDir(MasterFileSystem.java:431) at org.apache.hadoop.hbase.master.MasterFileSystem.createInitialFileSystemLayout(MasterFileSystem.java:153) at org.apache.hadoop.hbase.master.MasterFileSystem.<init>(MasterFileSystem.java:128) at org.apache.hadoop.hbase.master.HMaster.finishActiveMasterInitialization(HMaster.java:693) at org.apache.hadoop.hbase.master.HMaster.access$600(HMaster.java:189) at org.apache.hadoop.hbase.master.HMaster$2.run(HMaster.java:1803) at java.lang.Thread.run(Thread.java:745) 2017-06-08 05:22:47,566 INFO [xxCentosOne:16000.activeMasterManager] regionserver.HRegionServer: STOPPED: Unhandled exception. Starting shutdown.

根据字面意思，是说不能在standby的hadoop上启动hmaster。真的是吗

我打开页面，访问192.168.122.10和11两台服务器的50070端口，果然，11是standby，10是active

熟悉我这个架构的朋友应该知道，我的11是设计为active的hadoop，10是设计为standby的hadoo

同时10服务器上没有安装hbase

问题因该就在这里了，就是11在这次启动的时候成为了standby的hadoop所以才不能在这种hadoop上启动hmaster

然后杀掉所有HRegionServer，再重启整个hadoop，确认192.168.122.11服务器是active后，再启动hbase

发现11服务器上已经起来了HMaster进程。

# 2017-06-08： #

继续处理昨天那个“路径非空”的问题

2017-06-08 17:33:18,766 INFO [xxCentosOne:16000.activeMasterManager] zookeeper.MetaTableLocator: Failed verification of hbase:meta,,1 at address=xxcentosthree,16020,1496912989215, exception=org.apache.hadoop.hbase.NotServingRegionException: Region hbase:meta,,1 is not online on xxcentosthree,16020,1496914404566 at org.apache.hadoop.hbase.regionserver.HRegionServer.getRegionByEncodedName(HRegionServer.java:2942) at org.apache.hadoop.hbase.regionserver.RSRpcServices.getRegion(RSRpcServices.java:1072) at org.apache.hadoop.hbase.regionserver.RSRpcServices.getRegionInfo(RSRpcServices.java:1356) at org.apache.hadoop.hbase.protobuf.generated.AdminProtos$AdminService$2.callBlockingMethod(AdminProtos.java:22233) at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:2188) at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:112) at org.apache.hadoop.hbase.ipc.RpcExecutor.consumerLoop(RpcExecutor.java:133) at org.apache.hadoop.hbase.ipc.RpcExecutor$1.run(RpcExecutor.java:108) at java.lang.Thread.run(Thread.java:745)

执行hadoop  fs -ls /hbase/WALs/ 不再报昨天那个不能有端口的错误了。

然后可以看到这个路径下有好多东西，删除掉提示说非空的那些路径即可。  
完毕后，重启hbase，跟踪日志，报下面的错误

网上说这是某个regionserver处于offline状态。

首先执行`hbase hbck`，用来检查hbase的一致性(类似于hadoop fsck命令，fsck是用来检查hdfs的不一致问题的命令)

如果发现问题，可以使用`hbase hbck -fix`修复

但是我执行了hbase hbck之后，貌似没有问题

Version: 1.2.5 Number of live region servers: 3 Number of dead region servers: 0 Master: xxcentosone,16000,1496914389895 Number of backup masters: 0 Average load: 0.6666666666666666 Number of requests: 0 Number of regions: 2 Number of regions in transition: 0 2017-06-08 17:43:00,449 INFO [main] util.HBaseFsck: Loading regionsinfo from the hbase:meta table Number of empty REGIONINFO_QUALIFIER rows in hbase:meta: 0

Table hbase:meta is okay. Number of regions: 1 Deployed on: xxcentosthree,16020,1496914404566 Table hbase:namespace is okay. Number of regions: 1 Deployed on: xxcentosfour,16020,1496914405385 0 inconsistencies detected. Status: OK

怀疑又是启动过程中出现的临时错误吧。暂时不做处理

不过把别人的解决方式放到下面做个记录

方案一：

[模拟这个连接中说的来做][Link 2]

1 ) 停掉hbase集群  
2）删除hbase在hdfs目录下所有表目录下的recovered.edits

3）重启hbase集群，所有的region就都online了

**注意，这种通过删除recovered.edits的方式来恢复集群，会丢失部分数据。**

方案二：

[这次是模拟这个连接][Link 3]

根据上面的思路，我们需要在集群所有RegionServer的`hbase-site.xml`配置文件里面增加如下配置：

<property> <name>hbase.regionserver.executor.openregion.threads</name> <value>100</value> </property>

然后重启HBase集群就可以了。

这种解决方案应该不会丢数据，推荐使用这种方式来恢复。

## HRegionServer的一些配置信息 ##

**参数名称**

<table> 
 <tbody> 
 <tr> 
 <td style="text-align:center">&nbsp;</td> 
 <td style="text-align:center">默认值</td> 
 <td style="text-align:center">含义</td> 
 </tr> 
 <tr> 
 <td style="text-align:center">hbase.client.retries.number</td> 
 <td style="text-align:center">10</td> 
 <td style="text-align:center">客户端的重试次数</td> 
 </tr> 
 <tr> 
 <td style="text-align:center">hbase.regionserver.msginterval</td> 
 <td style="text-align:center">3000</td> 
 <td style="text-align:center">未知</td> 
 </tr> 
 <tr> 
 <td style="text-align:center">hbase.regionserver.checksum.verify</td> 
 <td style="text-align:center">false</td> 
 <td style="text-align:center"> 是否启用hbase的 checksum </td> 
 </tr> 
 <tr> 
 <td style="text-align:center">hbase.server.thread.wakefrequency</td> 
 <td style="text-align:center">10秒</td> 
 <td style="text-align:center">检查线程的频率</td> 
 </tr> 
 <tr> 
 <td style="text-align:center">hbase.regionserver.numregionstoreport</td> 
 <td style="text-align:center">10</td> 
 <td style="text-align:center">未知</td> 
 </tr> 
 <tr> 
 <td style="text-align:center">hbase.regionserver.handler.count</td> 
 <td style="text-align:center">10</td> 
 <td style="text-align:center"> 处理用户表的工作 线程数量 </td> 
 </tr> 
 <tr> 
 <td style="text-align:center">hbase.regionserver.metahandler.count</td> 
 <td style="text-align:center">10</td> 
 <td style="text-align:center"> 处理meta和root表 的工作线程数量 </td> 
 </tr> 
 <tr> 
 <td style="text-align:center">hbase.rpc.verbose</td> 
 <td style="text-align:center">false</td> 
 <td style="text-align:center">未知</td> 
 </tr> 
 <tr> 
 <td style="text-align:center">hbase.regionserver.nbreservationblocks</td> 
 <td style="text-align:center">false</td> 
 <td style="text-align:center">未知</td> 
 </tr> 
 <tr> 
 <td style="text-align:center"> hbase.regionserver.compactionChecker. majorCompactPriority </td> 
 <td style="text-align:center">max int</td> 
 <td style="text-align:center">未知</td> 
 </tr> 
 <tr> 
 <td style="text-align:center">hbase.regionserver.executor.openregion.threads</td> 
 <td style="text-align:center">3</td> 
 <td style="text-align:center"> 开打用户表region 的线程数量 </td> 
 </tr> 
 <tr> 
 <td style="text-align:center">hbase.regionserver.executor.openroot.threads</td> 
 <td style="text-align:center">1</td> 
 <td style="text-align:center"> 打开root表region 的线程数量 </td> 
 </tr> 
 <tr> 
 <td style="text-align:center">hbase.regionserver.executor.openmeta.threads</td> 
 <td style="text-align:center">1</td> 
 <td style="text-align:center"> 打开meta表region 的线程数量 </td> 
 </tr> 
 <tr> 
 <td style="text-align:center">hbase.regionserver.executor.closeregion.threads</td> 
 <td style="text-align:center">3</td> 
 <td style="text-align:center"> 关闭用户表region 的线程数量 </td> 
 </tr> 
 <tr> 
 <td style="text-align:center">hbase.regionserver.executor.closeroot.threads</td> 
 <td style="text-align:center">1</td> 
 <td style="text-align:center"> 关闭root表region 的线程数量 </td> 
 </tr> 
 <tr> 
 <td style="text-align:center">hbase.regionserver.executor.closemeta.threads</td> 
 <td style="text-align:center">1</td> 
 <td style="text-align:center"> 关闭meta表region 的线程数量 </td> 
 </tr> 
 </tbody> 
</table>

# 2017-06-11：新增HMaster的高可用配置 #

在文章的开篇我就写过，有一个叫xxCentosZero的主机，我是打算做HMaster的备份的但是之前不会配置HMaster的高可用，所以就一直搁置了下来

最近参考了一篇帖子，感觉不错，尝试了一下，竟然成功了 [有一种帖子叫人家的帖子][Link 4]

那篇文章感兴趣的诸位可以看看，我就说我改动的地方吧

## 1、各种配置文件 ##

hbase-site.xml

<property>
 		<name>hbase.rootdir</name>
 		<value>hdfs://lwns/hbase</value>
 	</property>
 	
 	
 	<property>
 		<name>hbase.master</name>
 		<value>60000</value>
 	</property>

上面我注释掉的地方就是我之前的非HA的写法，保留下来的是HA的写法。

通过对比可知，其实就是将过去写死成服务器名称的地方或者改为hdfs的NameSpace，就是将原有的主机名去掉，只留端口

2、hadoop的core-site.xml的写法。我就上一个地方， 用以和hbase-site.xml对比使用

<property>
 		<name>fs.defaultFS</name>
 		<value>hdfs://lwns</value>
 	</property>

区别只是在于，hbase-site.xml中在hdfs;//lwns后面加上了"/hbase"而已。

## 3、启动 ##

记得我之前说过，在standby的hadoop上面是无法启动HMaster的么，我之前说的应该不够详细

之前的详细情况是这样的。

在没有修改hbase-site.xml配置文件的前提下，启动了所有的zookeeper，并且启动了hadoop集群之后

只能在状态为active的hadoop的NameNode上面启动hbase(执行/usr/local/hbase/bin/start-hbase.sh )

否则在状态为standby的hadoop的NameNode上执行上面的命令，会提示hadoop的NameNode状态不对的错误

核心原因就是在于，hbase-site.xml中hbase.rootdir和hbase.master写死了主机名的原因。

现在我们则不需要考虑hadoop的NameNode是否standby状态的问题了，

可以任意在某一个NameNode上执行/usr/local/hbase/bin/start-hbase.sh。都可以启动当前这个HMaster和所有的HRegionServer

而其他的HMaster，则需要在每台主机上分别执行/usr/local/hbase/bin/hbase-daemon.sh start master来启动

## 4、效果及对比 ##

启动后可以在前台看到当前的HMaster和备份的HMaster的区别，如下图

![Center 5][]

![Center 6][]

从日志中也能看到备份HMaster与当前HMaster的区别

2017-06-11 08:48:13,156 INFO  [RpcServer.responder] ipc.RpcServer: RpcServer.responder: starting
    2017-06-11 08:48:13,160 INFO  [RpcServer.listener,port=16000] ipc.RpcServer: RpcServer.listener,port=16000: starting
    2017-06-11 08:48:13,393 INFO  [main] mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
    2017-06-11 08:48:13,402 INFO  [main] http.HttpRequestLog: Http request log for http.requests.master is not defined
    2017-06-11 08:48:13,427 INFO  [main] http.HttpServer: Added global filter 'safety' (class=org.apache.hadoop.hbase.http.HttpServer$QuotingInputFilter)
    2017-06-11 08:48:13,427 INFO  [main] http.HttpServer: Added global filter 'clickjackingprevention' (class=org.apache.hadoop.hbase.http.ClickjackingPreventionFilter)
    2017-06-11 08:48:13,429 INFO  [main] http.HttpServer: Added filter static_user_filter (class=org.apache.hadoop.hbase.http.lib.StaticUserWebFilter$StaticUserFilter) to context master
    2017-06-11 08:48:13,429 INFO  [main] http.HttpServer: Added filter static_user_filter (class=org.apache.hadoop.hbase.http.lib.StaticUserWebFilter$StaticUserFilter) to context static
    2017-06-11 08:48:13,430 INFO  [main] http.HttpServer: Added filter static_user_filter (class=org.apache.hadoop.hbase.http.lib.StaticUserWebFilter$StaticUserFilter) to context logs
    2017-06-11 08:48:13,459 INFO  [main] http.HttpServer: Jetty bound to port 16010
    2017-06-11 08:48:13,460 INFO  [main] mortbay.log: jetty-6.1.26
    2017-06-11 08:48:14,186 INFO  [main] mortbay.log: Started SelectChannelConnector@0.0.0.0:16010
    2017-06-11 08:48:14,194 INFO  [main] master.HMaster: hbase.rootdir=hdfs://lwns/hbase, hbase.cluster.distributed=true
    2017-06-11 08:48:14,226 INFO  [main] master.HMaster: Adding backup master ZNode /hbase/backup-masters/xxcentoszero,16000,1497142091312
    2017-06-11 08:48:14,445 INFO  [xxCentosZero:16000.activeMasterManager] master.ActiveMasterManager: Another master is the active master, xxcentosone,16000,1497141734452; waiting to become the next active master
    2017-06-11 08:48:14,555 INFO  [master/xxCentosZero/192.168.122.10:16000] zookeeper.RecoverableZooKeeper: Process identifier=hconnection-0x66c6b2fe connecting to ZooKeeper ensemble=xxCentosZero:2181,xxCentosOne:2181,xxCentosTwo:2181,xxCentosThree:2181,xxCentosFour:2181
    2017-06-11 08:48:14,561 INFO  [master/xxCentosZero/192.168.122.10:16000] zookeeper.ZooKeeper: Initiating client connection, connectString=xxCentosZero:2181,xxCentosOne:2181,xxCentosTwo:2181,xxCentosThree:2181,xxCentosFour:2181 sessionTimeout=30000 watcher=hconnection-0x66c6b2fe0x0, quorum=xxCentosZero:2181,xxCentosOne:2181,xxCentosTwo:2181,xxCentosThree:2181,xxCentosFour:2181, baseZNode=/hbase
    2017-06-11 08:48:14,565 INFO  [master/xxCentosZero/192.168.122.10:16000-SendThread(xxCentosTwo:2181)] zookeeper.ClientCnxn: Opening socket connection to server xxCentosTwo/192.168.122.12:2181. Will not attempt to authenticate using SASL (unknown error)
    2017-06-11 08:48:14,568 INFO  [master/xxCentosZero/192.168.122.10:16000-SendThread(xxCentosTwo:2181)] zookeeper.ClientCnxn: Socket connection established to xxCentosTwo/192.168.122.12:2181, initiating session
    2017-06-11 08:48:14,573 INFO  [master/xxCentosZero/192.168.122.10:16000-SendThread(xxCentosTwo:2181)] zookeeper.ClientCnxn: Session establishment complete on server xxCentosTwo/192.168.122.12:2181, sessionid = 0x25c947d51cd0005, negotiated timeout = 30000
    2017-06-11 08:48:14,636 INFO  [master/xxCentosZero/192.168.122.10:16000] regionserver.HRegionServer: ClusterId : 9d1223e6-9947-422e-a966-94d9e48d101f

到这里，HMaster的高可用可以告一段落了。

[http_write.blog.csdn.net_postedit]: http://blog.csdn.net/darkdragonking/article/details/72781782
[Link 1]: http://hbase.apache.org/book.html#configuration
[Center]: /images/20220614/27bb3685da574d928caa64d43d973303.png
[hbase]: http://www.apache.org/dyn/closer.cgi/hbase/
[Center 1]: /images/20220614/f570394f00aa4f6883182415c787e884.png
[Center 2]: /images/20220614/2b9c229942ad467caa6231d7d3c0fdc8.png
[Center 3]: /images/20220614/0ca63d610bdd4e0fb2e2f6f952072414.png
[Center 4]: /images/20220614/6d0316378bd3473693704b2f03240555.png
[HBase]: http://www.cnblogs.com/ejiyuan/p/5591613.html
[Link 2]: https://viewsby.wordpress.com/2015/06/01/hbase-error-there-is-a-hole-in-the-region-chain/
[Link 3]: http://apache-phoenix-user-list.1124778.n5.nabble.com/Can-phoenix-local-indexes-create-a-deadlock-after-an-HBase-full-restart-td824.html
[Link 4]: http://www.cnblogs.com/captainlucky/p/4710642.html
[Center 5]: /images/20220614/3e10b927e7c9496cb760b11906afd774.png
[Center 6]: /images/20220614/9b81c76168fc4a51828d6c8db1797923.png