Hadoop HDFS over HTTP 2.4.1 - Server Setup

分手后的思念是犯贱 2022-08-17 15:16 38阅读 0赞

# Hadoop HDFS over HTTP 2.4.1 -Server Setup #

本篇文章介绍了如何快速建立一个带Pseudo认证的HttpFS。

## Requirements ##

*  Java 6+
 *  Maven 3+

## Install HttpFS ##

**\[html\]**  [view plain][] [copy][view plain]

1.  ~ $ tar xzf httpfs-2.4.1.tar.gz

## Configure HttpFS ##

默认情况下，HttpFS假设Hadoop的配置文件（core-site.xml & hdfs-site.xml）在HttpFS配置目录中。

如果文件不在，增加 httpfs-site.xml文件，然后用httpfs.hadoop.config.dir属性设置本地的Hadoop配置文件目录。

【HttpFS服务器不一定在已存在的Hadoop集中的节点上？】

## Configure Hadoop ##

编辑Hadoop core-site.xml文件，将要运行HttpFS服务器的Unix 用户作为代理用户。例如：

**\[html\]**  [view plain][] [copy][view plain]

1.  ...  
2.    **<****property****>**  
3.      **<****name****>**hadoop.proxyuser.\#HTTPFSUSER\#.hosts**</****name****>**  
4.      **<****value****>**httpfs-host.foo.com**</****value****>**  
5.    **</****property****>**  
6.    **<****property****>**  
7.      **<****name****>**hadoop.proxyuser.\#HTTPFSUSER\#.groups**</****name****>**  
8.      **<****value****>**\***</****value****>**  
9.    **</****property****>**  
10.   ...

重要的：使用将要用来启动HttpFS Server的Unix用户代替\#HTTPFSUSER\#。

## Restart Hadoop ##

你需要重新启动Hadoop以使代理用户配置生效。

## Start/Stop HttpFS ##

使用bin/httpfs.sh 脚本启动/停止HttpFS。例如：

**\[html\]**  [view plain][] [copy][view plain]

1.  httpfs-2.4.1 $ bin/httpfs.sh start

注意：不用任何参数调用这个脚本将列出所有可用的参数（start，stop，run等等）。Httpfs.sh脚本是tomcat的catalina.sh脚本的封装，在运行tomcat之前设置了环境变量和运行HttpFS Server 的java系统需求。

## Test HttpFS is Working ##

[html] view plain copy 
      
       ~ $ curl -i "http://<HTTPFSHOSTNAME>:14000?user.name=babu&op=homedir"   HTTP/1.1 200 OK   Content-Type: application/json   Transfer-Encoding: chunked       {"homeDir":"http:\/\/<HTTPFS_HOST>:14000\/user\/babu"}

## Embedded Tomcat Configuration ##

可以在tomcat/conf中配置内置的tomcat。

HttpFS在server.xml文件中预配置了HTTP端口14000和Admin端口14001。

Tomcat的日志预配置在HttpFS的logs/目录中。

下面是用到的环境变量（需要设置在HttpFS的conf/httpfs-env.sh脚本中）：

*  HTTPFS\_HTTP\_PORT
 *  HTTPFS\_ADMIN\_PORT
 *  HTTPFS\_LOG

## HttpFS Configuration ##

HttFS支持doc/hadoop/hadoop-hdfs-httpfs/httpfs-default.html中所列出的属性，可以配置在HttpFS的配置目录conf/httpfs-site.xml配置文件中。

## HttpFS over HTTPS（SSL） ##

将配置文件目录中的httpfs-env.sh文件中的HTTPFS\_SSL\_ENABLED设置为true可以配置HttpFS工作在SSL之上。

此外，下面的两个属性可以被设置（显示的是默认值）：

*  HTTPFS\_SSL\_KEYSTORE\_FILE=$HOME/.keystore
 *  HTTPFS\_SSL\_KEYSTORE\_PASS=password