在Linux集群上部署Spark之前准备

淡淡的烟草味﹌ 2024-02-19 15:29 41阅读 0赞

### 在Linux集群上部署Spark ###

Spark安装部署比较简单，  
用户可以登录其官方网站（[http://spark.apache.org/downloads.html）][http_spark.apache.org_downloads.html]  
下载Spark最新版本或历史版本，也可以查阅Spark相关文档作为参考。本书开始写作时，本章所述的环境搭建均以Spark 1.5.0版为例。  
Spark使用了Hadoop的HDFS作为持久化存储层，因此安装Spark时，应先安装与Spark版本相兼容的Hadoop。  
**本节以阿里云Linux主机为**例，描述集群环境及Spark开发环境的搭建过程。  
Spark计算框架以Scala语言开发，因此部**署Spark首先需要安装Scala及JDK（Spark1.5.0需要JDK1.7.0或更高版本）**。另外，Spark计算框架基于持久化层，如Hadoop HDFS，因此本章也会简述**Hadoop的安装配置。**

### 安装OpenJDK ###

Spark1.5.0要求OpenJDK1.7.0或更高版本。以本机Linux X86机器为例，OpenJDK的安装步骤如下所示：  
1）查询服务器上可用的JDK版本。在终端输入如下命令：

yum list "＊JDK＊"

yum会列出服务器上的JDK版本。  
2）安装JDK。在终端输入如下命令：

yum install java-1.7.0-openjdk-devel.x86cd /usr/lib/jvmln -s java-1.7.0-openjdk.x86 java-1.7

3）JDK环境配置。  
① 用编辑器打开/etc/profile文件，加入如下内容：

export JAVA_HOME=/usr/lib/jvm/java-1.7
    export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

关闭并保存profile文件。  
② 输入命令`source /etc/profile`让配置生效。

### 安装Scala ###

登录Scala官网（[http://www.scala-lang.org/download/）下载最新版本：][http_www.scala-lang.org_download] scala-2.11.7.tgz  
1）安装。

tar zxvf scala-2.11.7.tgz -C /usr/localcd /usr/localln -s scala-2.11.7 scala

2）配置：打开/etc/profile，加入如下语句：

export SCALA_HOME=/usr/local/scala
    export PATH=$PATH:$SCALA_HOME/bin

### 配置SSH免密码登录 ###

在分布式系统中，如Hadoop与Spark，通常使用SSH（安全协议，Secure Shell）服务来启动Slave节点上的程序，当节点数量比较大时，频繁地输入密码进行身份认证是一项非常艰难的体验。为了简化这个问题，可以使用”公私钥”认证的方式来达到SSH免密码登录。  
首先在Master节点上创建一对公私钥（**公钥文件：～/.ssh/id\_rsa.pub；私钥文件：～/.ssh/id\_rsa），然后把公钥拷贝到Worker节点上（～/.ssh/authorized\_keys）**。

### 二者交互步骤如下： ###

1）Master通过SSH连接Worker时，Worker生成一个随机数然后用公钥加密后，发回给Master。  
2）Master收到加密数后，用私钥解密，并将解密数回传给Worker。  
3）Worker确认解密数正确之后，允许Master连接。  
如果配置好SSH免密码登录之后，在以上交互中就无须用户输入密码了。下面介绍安装与配置过程。  
1）安装SSH: yum install ssh  
2）生成公私钥对： ssh-keygen -t rsa  
一直按回车键，不需要输入。执行完成后会在～/.ssh目录下看到已生成  
id\_rsa.pub与id\_rsa两个密钥文件。其中id\_rsa.pub为公钥。  
3）拷贝公钥到Worker机器：

scp ～/.ssh/id_rsa.pub <用户名>@<worker机器ip>:～/. ssh

4）在Worker节点上，将公钥文件重命名为authorized\_keys:

mv id_rsa.pub auth-orized_keys

类似地，在所有Worker节点上都可以配置SSH免密码登录。

[http_spark.apache.org_downloads.html]: http://spark.apache.org/downloads.html%EF%BC%89
[http_www.scala-lang.org_download]: http://www.scala-lang.org/download/%EF%BC%89%E4%B8%8B%E8%BD%BD%E6%9C%80%E6%96%B0%E7%89%88%E6%9C%AC%EF%BC%9A