Hadoop HDFS over HTTP 2.4.1 - Using HTTP Tools

傷城~ 2022-08-17 15:16 138阅读 0赞

# Security #

开箱即可用的HttpFS既支持pseudo认证，也支持Kerberos HTTP SPNEGO认证。

# Pseudo Authentication #

用Pseudo认证时，用户名必须在HttpFS URL的查询参数里通过user.name=<USERNAME>指定。例如：

**\[html\]**  [view plain][] [copy][view plain]

1.  $ curl"http://**<****HTTFS\_HOST****>**:14000/webhdfs/v1?op=homedir&user.name=babu"

# Kerberos HTTP SPNEGOAuthentication #

Kerberos HTTP SPNEGO认证需要一个支持KerberosHTTP SPNEGO协议的工具或者库。

重要的：如果使用curl，curl的版本必须支持GSS（如果支持的话，curl –v命令会打印出“GSS”）。

例如：

**\[html\]**  [view plain][] [copy][view plain]

1.  $ kinit  
2.  Please enter the password for tucu@LOCALHOST:  
3.  $ curl --negotiate -u foo "http://**<****HTTPFS\_HOST****>**:14000/webhdfs/v1?op=homedir"  
4.  Enter host password for user 'foo':

注意：--negotiate 需要-u 用户选项，但是它不使用。当被要求输入密码时直接按回车，使用任何的值作为User都将被忽略。

# Remembering Who I Am (Establishingan Authenticated Session) #

在大多数的认证机制中，Hadoop HTTP认证机制只认证用户一次，给其一个短暂的Token，为后续的请求提供认证验证凭证。这个Token记录在HTTP Cookie中。

当使用像curl这样的工具时，Token必须在第一次为第一次请求做认证时被存储，在后续的请求中这个Token都要提交。使用curl的-b和-c选项，可以发送和保存必要的HTTP Cookie信息。

例如，第一次请求被认证时应该保存接收到的HTTP Cookie。

用Pseudo认证：

[html] view plain copy 
      
       $ curl -c ~/.httpfsauth "http://<HTTPFS_HOST>:14000/webhdfs/v1?op=homedir&user.name=babu"

用Kerberos HTTP SPNEGO认证：

**\[html\]**  [view plain][] [copy][view plain]

1.  $ curl --negotiate -u foo -c ~/.httpfsauth "http://**<****HTTPFS\_HOST****>**:14000/webhdfs/v1?op=homedir"

然后，后续的操作转发先前接收到的HTTP Cookie：

[html] view plain copy 
      
       $ curl -b ~/.httpfsauth "http://<HTTPFS_HOST>:1400

[view plain]: http://blog.csdn.net/xichenguan/article/details/38709017#

发表评论取消回复

表情：

评论列表（有 0 条评论，138人围观）

还没有评论，来说两句吧...

相关阅读

相关 hdfs-over-ftp使用说明

hdfs-over-ftp使用说明一、介绍 hdfs-over-ftp可以将hdfs文件系统通过ftp服务方式暴露出来,可以通过ftp客户端下载和上传hadoop文件

雨点打透心脏的1/2处/ 2024年03月31日 16:16/ 0 赞/ 147 阅读

相关流媒体传输 - RTSP Over HTTP

RTSP 的标准端口是 554，但是由于各种不同的防火墙等安全策略配置的原因，客户端在访问 554 端口时可能存在限制，从而无法正常传输 RTSP 报文。但是 HTTP 端口

末蓝、/ 2024年02月23日 08:06/ 0 赞/ 159 阅读

相关 https tk6 us

https.tk6.us专题,为您展现优质的https.tk6.us各类信息,在这里您可以找到关于https.tk6.us的相关内容及最新的https.tk6.us贴子。

ゝ一世哀愁。/ 2023年09月27日 18:27/ 0 赞/ 118 阅读

相关 was loaded over HTTPS,xxxx This request has been blocked； the content must be served over HTTPS.

这是因为默认https页面只能访问https资源添加响应头修改页面资源访问权限 nginx 配置 add\_header Content-Security

女爷i/ 2023年01月08日 02:23/ 0 赞/ 284 阅读

相关关于什么是：xmlns:tools="http://schemas.android.com/tools"

It defines the XML namespace of the document. You should put it, otherwise tags like

快来打我*/ 2022年08月23日 00:49/ 0 赞/ 222 阅读

相关 Hadoop HDFS over HTTP 2.4.1 - Server Setup

Hadoop HDFS over HTTP 2.4.1 -Server Setup 本篇文章介绍了如何快速建立一个带Pseudo认证的HttpFS。 Requirem

分手后的思念是犯贱/ 2022年08月17日 15:16/ 0 赞/ 38 阅读

相关 Hadoop HDFS over HTTP 2.4.1 - Using HTTP Tools

Security 开箱即可用的HttpFS既支持pseudo认证，也支持Kerberos HTTP SPNEGO认证。 Pseudo Authentication

傷城~/ 2022年08月17日 15:16/ 0 赞/ 139 阅读

相关 Hadoop HDFS over HTTP

Hadoop HDFS overHTTP-Documentation Sets2.4.1 HttpFs是一个提供REST HTTP的方式支持所有的HDFS文件系统操作的方

向右看齐/ 2022年08月17日 15:16/ 0 赞/ 182 阅读

相关 0.3、计算机网络-HTTP Over TLS(HTTPS)

文章目录前言 rfc2818 https: HTTP

水深无声/ 2022年01月23日 14:49/ 0 赞/ 355 阅读

相关 HTTP3(HTTP Over QUIC)和Websocket-ACM技术组周会

> 出自neuq-acm技术部后端组(yh,wyx,wtl) 一.HTTP 3.0 1.概述 > 当IETF正式标准化HTTP/2时，Google正在独立构建一个

╰+攻爆jí腚メ/ 2021年09月08日 08:20/ 0 赞/ 559 阅读