大数据Hadoop之——部署hadoop+hive+Mysql环境（Linux）

蔚落 2024-02-19 11:51 108阅读 0赞

**目录**

一、JDK的安装

1、安装jdk

2、配置Java环境变量

3、加载环境变量

4、进行校验

二、hadoop的集群搭建

1、hadoop的下载安装

2、配置文件设置

2.1. 配置 hadoop-env.sh

2.2. 配置 core-site.xml

2.3. 配置hdfs-site.xml

2.4. 配置 yarn-site.xml

2.5. 配置 mapred-site.xml

2.6. 配置 workers（伪分布式不配置）

2.7 配置sbin下启停命令

3、复制hadoop到其他节点（伪分布式不执行此步）

4、Hdfs格式化

5、启动hdfs分布式文件系统

三、msyql安装

1、卸载旧MySQL文件

2、下载mysql安装包

3、配置环境变量

4、删除用户组

5、创建用户和组

6、创建文件夹

7、更改权限

8、初始化

9、记住初始密码

10、配置文件

11 将mysql加入到服务中

12、设置开机启动并查看进程

13、 创建软连接

14、授权修改密码

四、HIve安装

1、下载安装

2、配置环境变量

3、配置文件

4、拷贝jar包

5、初始化

6、启动hive

--------------------

## 一、JDK的安装 ##

### 1、安装jdk ###

> sudo yum search openjdk
> 
> yum install java-1.8.0-openjdk.x86\_64
> 
> yum install java-1.8.0-openjdk-devel.x86\_64

### **2、配置Java环境变量** ###

> vi ~/.bash\_profile
> 
> export JAVA\_HOME=/usr/local/jdk1.8.0\_11
> 
> export CLASSPATH=.:$JAVA\_HOME/lib/dt.jar:$JAVA\_HOME/lib/tools.jar
> 
> export PATH=$PATH:$JAVA\_HOME/bin

### 3、**加载环境变量** ###

> source ~/.bash\_profile
> 
> 验证环境变量是否生效:
> 
> env | grep HOME
> 
> env | grep PATH

### 4、进行校验 ###

![7c610d87d7dc4fbc89b2ed4304289f65.png][]

## 二、hadoop的集群搭建 ##

### 1、hadoop的下载安装 ###

> **1.1. 下载**
> 
> https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/  
> 下载 hadoop-3.3.4.tar.gz 安装包
> 
> **1.2 上传**  
> 使用xshell上传到指定安装路径
> 
> 此处是安装路径是 **/usr/local**
> 
> ![e1f6e4b4599c468fa8ff153293f5e7da.png][]
> 
> **1.3 解压重命名**
> 
> tar -xzvf hadoop-3.3.4.tar.gz
> 
> mv hadoop-3.3.4 hadoop
> 
> ![c7ff7305707b4650b8adf7d9cc6e7949.png][]
> 
> ![88c9467968e149cdb36ea8cc8fbe7706.png][]
> 
> **1.4 配置环境变量**
> 
> vi ~/.bash\_profile
> 
> export JAVA\_HOME=/usr/local/jdk1.8.0\_11
> 
> export CLASSPATH=.:$JAVA\_HOME/lib/dt.jar:$JAVA\_HOME/lib/tools.jar
> 
> export HADOOP\_HOME=/usr/local/hadoop
> 
> export PATH=$PATH**:**$JAVA\_HOME/bin**:**$HADOOP\_HOME/bin:$HADOOP\_HOME/sbin
> 
> **1.5 加载环境变量**
> 
> source ~/.bash\_profile
> 
> 验证环境变量是否生效:
> 
> env | grep HOME
> 
> env | grep PATH
> 
> **1.6检验安装**
> 
> hadoop version
> 
> 出现下图说明安装成功
> 
> ![ab6c17dc4be9461ab411ac6d79b2ff68.png][]

### 2、配置文件设置 ###

#### 2.1. 配置 hadoop-env.sh ####

> **hadoop伪分布式配置**
> 
> export HADOOP\_OS\_TYPE=$\{HADOOP\_OS\_TYPE:-$(uname -s)\}  
> export JAVA\_HOME=/usr/local/jdk1.8.0\_11
> 
> **hadoop集群配置（root指的是用户名）**
> 
> export HADOOP\_OS\_TYPE=$\{HADOOP\_OS\_TYPE:-$(uname -s)\}  
> export JAVA\_HOME=/usr/local/jdk1.8.0\_11
> 
> export HDFS\_NAMENODE\_USER=root  
> export HDFS\_DATANODE\_USER=root  
> export HDFS\_SECONDARYNAMENODE\_USER=root  
> export YARN\_RESOURCEMANAGER\_USER=root

#### 2.2. 配置 core-site.xml ####

> <configuration>  
>   
> <property>  
> <name>fs.defaultFS</name>  
> <value>hdfs://hadoop001:9000</value>  
> <description>配置NameNode的URL</description>  
> </property>
> 
>   
> <property>  
> <name>hadoop.tmp.dir</name>  
> <value>/usr/local/hadoop/data</value>  
> </property>
> 
>  **分布式集群配置下面内容，伪分布式只需配置上面内容**  
>   
> <property>  
> <name>hadoop.proxyuser.**root**.hosts</name>  
> <value>\*</value>  
> </property>
> 
>   
> <property>  
> <name>hadoop.proxyuser.**root**.groups</name>  
> <value>\*</value>  
> </property>
> 
>   
> <property>  
> <name>hadoop.proxyuser.**root**.users</name>  
> <value>\*</value>  
> </property>  
> </configuration>

#### 2.3. 配置hdfs-site.xml ####

> **以下配置集群和伪分布式均可用**
> 
> <configuration>  
>   
> <property>  
> <name>dfs.replication</name>  
> <value>3</value> **  
> <property>  
> <name>dfs.namenode.http-address</name>  
> <value>hadoop001:9870</value>  
> </property>
> 
>   
> <property>  
> <name>dfs.permissions.enabled </name>  
> <value>false</value>  
> </property>
> 
>   
> <property>  
> <name>dfs.namenode.name.dir</name>  
> <value>file:///usr/local/hadoopdata/dfs/name</value>  
> </property>  
> <property>  
> <name>dfs.datanode.data.dir</name>  
> <value>file:///usr/local/hadoopdata/dfs/data</value>  
> </property>
> 
>  集群配置使用
> 
> <property>  
> <name>dfs.namenode.secondary.http-address</name>  
> <value>hadoop003:9868</value>  
> </property>
> 
>   
>   
> <property>  
> <name>dfs.namenode.secondary.http-address</name>  
> <value>hadoop104:9868</value>  
> </property>
> 
> </configuration>

#### 2.4. 配置 yarn-site.xml ####

> <configuration>
> 
>   
> <property>  
> <name>yarn.nodemanager.aux-services</name>  
> <value>mapreduce\_shuffle</value>  
> </property>
> 
>  **伪分布式以下无需配置**
> 
>   
>   
> <property>  
> <name>yarn.resourcemanager.hostname</name>  
> <value>hadoop002</value>  
> </property>  
>   
> <property>  
> <name>yarn.scheduler.minimum-allocation-mb</name>  
> <value>512</value>  
> </property>  
>   
> <property>  
> <name>yarn.scheduler.maximum-allocation-mb</name>  
> <value>2048</value>  
> </property>  
>   
> <property>  
> <name>yarn.nodemanager.vmem-pmem-ratio</name>  
> <value>4</value>  
> </property>  
>   
>   
>   
> <property>  
> <name>yarn.nodemanager.pmem-check-enabled</name>  
> <value>false</value>  
> </property>
> 
>   
> <property>  
> <name>yarn.nodemanager.vmem-check-enabled</name>  
> <value>false</value>  
> </property>  
> </configuration>

#### 2.5. 配置 mapred-site.xml ####

> <configuration>  
>   
> <property>  
> <name>mapreduce.framework.name</name>  
> <value>yarn</value>  
> </property>
> 
>  **以下配置为集群配置使用**  
>   
> <property>  
> <name>yarn.app.mapreduce.am.env</name>  
> <value>HADOOP\_MAPRED\_HOME=$\{HADOOP\_HOME\}</value>  
> </property>  
>   
> <property>  
> <name>mapreduce.map.env</name>  
> <value>HADOOP\_MAPRED\_HOME=$\{HADOOP\_HOME\}</value>  
> </property>  
>   
> <property>  
> <name>mapreduce.reduce.env</name>  
> <value>HADOOP\_MAPRED\_HOME=$\{HADOOP\_HOME\}</value>  
> </property>
> 
>   
> <property>  
> <name>mapreduce.jobhistory.address</name>  
> <value>hadoop003:10020</value>  
> </property>  
>   
> <property>  
> <name>mapreduce.jobhistory.webapp.address</name>  
> <value>hadoop003:19888</value>  
> </property>  
> </configuration>

#### 2.6. 配置 workers（伪分布式不配置） ####

> 配置三台主机名，在集群中使用。如果不是集群可以不用配置
> 
> hadoop102  
> hadoop103  
> hadoop104

#### 2.7 配置sbin下启停命令 ####

> **在 sbin下的start-dfs.sh和stop-dfs.sh中顶部配置**
> 
> \#!/usr/bin/env bash  
> HDFS\_DATANODE\_USER=root  
> HADOOP\_SECURE\_DN\_USER=hdfs  
> HDFS\_NAMENODE\_USER=root  
> HDFS\_SECONDARYNAMENODE\_USER=root

> **在 sbin下的start-yarn.sh和stop-yarn.sh中顶部配置**
> 
> \#!/usr/bin/env bash  
> YARN\_RESOURCEMANAGER\_USER=root  
> HADOOP\_SECURE\_DN\_USER=yarn  
> YARN\_NODEMANAGER\_USER=root

### 3、复制hadoop到其他节点（伪分布式不执行此步） ###

> scp /usr/local/hadoop root@hadoop002:/usr/local/

### 4、Hdfs格式化 ###

> cd /usr/local/hadoop/
> 
> bin/hdfs namenode -format
> 
> find /usr/local/data/hadoop/

### 5、**启动hdfs分布式文件系统** ###

> cd /usr/local/hadoop
> 
> ./sbin/start-dfs.sh
> 
> 使用 **jps** 查看启动进程
> 
> ![4d423159616e4cc3b352bc7f2404c712.png][]
> 
> **访问h****adoop****分布式文件系统**
> 
> ![27b0d2b51ad844f2bd4f317dcf929622.png][]

6、启动yarn

> cd /usr/local/hadoop
> 
> ./sbin/start-yarn.sh
> 
> 使用 **jps** 查看启动进程
> 
> ![95b514c9f65f4ea898984a3ce01a5c9b.png][]
> 
> **访问h****adoop****分布式yarn页面**
> 
> ![a8d7f9c85d7144ceacfd28c51a1b983f.png][]

## 三、msyql安装 ##

### 1、卸载旧MySQL文件 ###

> 执行命令  
> \# yum remove mysql mysql-server mysql-lib mysql-server  
> •再查看当前安装mysql的情况看卸载情况：  
> \# rpm -qa|grep -i mysql  
> 可以看到之前安装的包，然后执行删除命令，全部删除  
> \# rpm -ev MySQL-devel--5.1.52-1.el6.i686 --nodeps  
> •查找之前老版本MySQL的目录，并删除老版本的MySQL的文件和库  
> \# find / -name mysql  
> 删除查找到的所有目录  
> \#例如：rm -rf /run/lock/subsys/mysql  
> \#例如： rm -rf /etc/selinux/targeted/active/modules/100/mysql \# rm -rf /var/lib/mysql  
> •手动删除/etc/my.cnf  
> \# rm -rf /etc/my.cnf  
> •再次查询如果无，则删除干净  
> \# rpm -qa|grep -i mysql
> 
> 删除 mariadb  
> rpm -qa|grep mariadb  
> rpm -e --nodeps mariadb-libs  
> rpm -e --nodeps mysql-libs-5.1.52-1.el6\_0.1.x86\_64

### **2、下载mysql安装包** ###

> **1.1 下载**
> 
> 在这里下载的是如下版本的mysql  
> https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.26-linux-glibc2.12-x86\_64.tar.gz
> 
> **1.2 上传**
> 
> 使用xshell上传到到linux服务器指定安装路径
> 
> 此处是安装路径是 **/usr/local**
> 
> **1.3 解压重命名**
> 
> **cd**  /usr/local/
> 
> tar -xzvf mysql-5.7.26-linux-glibc2.12-x86\_64.tar.gz -C
> 
> mv mysql-5.7.26-linux-glibc2.12-x86\_64 mysql

### 3、配置环境变量 ###

> vim /etc/profile  
> export MYSQL\_HOME=/usr/local/mysql  
> export PATH=$PATH:$MYSQL\_HOME/bin
> 
> 使环境生效  
> source /etc/profile

### 4、删除用户组 ###

> 删除用户组  
> cat /etc/group|grep mysql  
> groupdel mysql  
> userdel mysql

### **5、创建用户和组** ###

> groupadd mysql  
> useradd -r -g mysql mysql

### 6、创建文件夹 ###

> mkdir /usr/local/mysql/data

### 7、更改权限 ###

> 更改mysql目录下所有的目录及文件夹所属的用户组和用户，以及赋予可执行权限
> 
> chown -R mysql:mysql /usr/local/mysql/data/  
> chown -R mysql:mysql /usr/local/mysql/  
> chmod -R 755 /usr/local/mysql/

### 8、初始化 ###

> 安装依赖包
> 
> yum install libaio 或者下面的
> 
> yum install -y mariadb-server 安装mariadb-server 5.X版本使用
> 
> 执行初始化
> 
> /usr/local/mysql/bin/mysqld --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/ --initialize

### 9、记住初始密码 ###

![1f0a97356a5542ef856fc1e275f6e78b.png][]

### 10、配置文件 ###

> 5.x版本
> 
> \[mysqld\]  
> port=3306  
> user=mysql  
> basedir=/usr/local/mysql  
> datadir=/usr/local/mysql/data  
> socket=/tmp/mysql.sock  
> \#character config  
> character\_set\_server=utf8mb4  
> explicit\_defaults\_for\_timestamp=true

> 8.0版
> 
> \[mysql\]  
> socket=/usr/local/mysql/tmp/mysql.sock  
> port=3306  
> user=mysql  
> default-character-set=utf8
> 
> \[mysqld\]  
> basedir=/usr/local/mysql  
> datadir=/usr/local/mysql/data  
> socket=/usr/local/mysql/tmp/mysql.sock  
> port=3306  
> user=mysql  
> log\_timestamps=SYSTEM  
> collation-server = utf8\_unicode\_ci  
> character-set-server = utf8  
> default\_authentication\_plugin= mysql\_native\_password
> 
> \[mysqld\_safe\]  
> log-error=/usr/local/mysql/log/mysqld\_safe.err  
> pid-file=/usr/local/mysql/tmp/mysqld.pid  
> socket=/usr/local/mysql/tmp/mysql.sock
> 
> \[mysql.server\]  
> basedir=/usr/local/mysql  
> datadir=/usr/local/mysql/data  
> socket=/usr/local/mysql/tmp/mysql.sock  
> port=3306  
> user=mysql

### 11 **将mysql加入到服务中** ###

> 复制  
> cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql
> 
> \#赋予可执行权限  
> chmod +x /etc/init.d/mysql  
> \#添加服务  
> chkconfig --add mysql  
> \#显示服务列表  
> chkconfig --list mysql
> 
> ![3056d6aa4bdb4b72a675d0157ba92f0d.png][]

### 12、设置开机启动并查看进程 ###

> 设置开机启动：chkconfig mysql on
> 
> 启动mysql ：service mysql start;
> 
> 查看进程：ps -ef|grep mysql; 
> 
> 查看状态：service mysql status;

### 13、 创建软连接 ###

> ln -s /usr/local/mysql/bin/mysql **/usr/bin**

### 14、授权修改密码 ###

> mysql -uroot -p
> 
> 输入密码（初始化时候的密码）
> 
> 8.0以下修改密码：
> 
> use mysql;
> 
> SET PASSWORD FOR 'root'@'localhost' = PASSWORD('newpassword');
> 
> flush privileges;
> 
> 8.0以上修改密码
> 
> use mysql;  
> UPDATE user SET authentication\_string="" WHERE user="root";  
> FLUSH PRIVILEGES;  
> update user set Host="%" where User="root";  
> flush privileges;  
> alter user "root"@"%" identified by "root";  
> flush privileges;
> 
> 8.0以下授权  
> grant all privileges on \*.\* to 'root'@'%' identified by '密码123456' with grant option;  
> flush privileges;
> 
> 8.0以上授权
> 
> use mysql;
> 
> \#还原密码验证插件，将MySQL8的密码认证插件由caching\_sha2\_password更换成mysql\_native\_password  
> ALTER USER 'root'@'%' IDENTIFIED WITH mysql\_native\_password BY 'root';  
> \#刷新权限  
> flush privileges;

##  ##

## 四、HIve安装 ##

### 1、下载安装 ###

> **1.1下载**
> 
> 下载地址：[http://archive.apache.org/dist/hive/][http_archive.apache.org_dist_hive]
> 
> 我们选择apache-hive-3.1.3-bin.tar.gz版本学习
> 
> **1.2 上传**
> 
> **1.3 解压重命名**

### 2、配置环境变量 ###

> vi ~/.bash\_profile  
> export HIVE\_HOME=/usr/local/hive
> 
> export PATH=$PATH:$HIVE\_HOME/bin
> 
> 刷新配置  
> source ~/.bash\_profile

### 3、配置文件 ###

**配置hive-env.sh**

> export HADOOP\_HOME=/usr/local/hadoop
> 
>   
> export HIVE\_CONF\_DIR=/usr/local/hive/conf

**配置hive-site.xml**

> <?xml version="1.0" encoding="UTF-8" standalone="no"?>  
> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
> 
> <configuration>  
> <property>  
> <name>javax.jdo.option.ConnectionURL</name>  
> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8&useSSL=false</value>  
> </property>  
> <property>  
> <name>javax.jdo.option.ConnectionDriverName</name>  
> <value>com.mysql.cj.jdbc.Driver</value>  
> </property>  
> <property>  
> <name>javax.jdo.option.ConnectionUserName</name>  
> <value>root</value>  
> </property>  
> <property>  
> <name>javax.jdo.option.ConnectionPassword</name>  
> <value>root</value>  
> </property>  
> </configuration>

### 4、拷贝jar包 ###

> **4.1 拷贝mysql驱动**
> 
> 需要提前现在对应的驱动包，并解压
> 
> cp mysql-connector-java-5.1.49/mysql-connector-java-5.1.49-bin.jar /usr/local/hive/lib/
> 
> **4.2 拷贝guava包**
> 
> \#hadoop和hive里面的guava包版本可能不一致，那么用hadoop里面的覆盖掉hive里面的  
> cp /usr/local/hadoop/share/hadoop/common/lib/guava-27.0-jre.jar **/usr/local/hive/lib/**
> 
> \#删除hive的旧依赖包  
>  **rm /opt/hive/lib/guava-19.0.jar**

### 5、初始化 ###

> **5.1 启动msyql**
> 
> \# 先查看mysql是否启动
> 
> service mysql status；
> 
> \#未启动则进行启动
> 
> service mysql start
> 
> **5.2 启动hadoop**
> 
> \#进入hadoop安装目录
> 
> cd /usr/local/hadoop/
> 
> \#启动hadoop
> 
>  **sbin/start-all.sh**
> 
> **5.3 初始化hive**
> 
> \#进入hive安装目录
> 
> cd /usr/local/hive
> 
> \#执行初始化命令，\#初始化Hive  
> bin/schematool -dbType mysql -initSchema

### 6、启动hive ###

> \#进入hive安装目录
> 
> cd /usr/local/hive
> 
> \#使用命令验证hive是否安装成功
> 
> bin/hive
> 
> \#进入hive shell，使用show databases; 查看数据，说明安装成功！
> 
> ![bf264d157aaf4758b7f9774e13b631e4.png][]

[7c610d87d7dc4fbc89b2ed4304289f65.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/8646a42d909b48f69ccb162f70e19e15.png
[e1f6e4b4599c468fa8ff153293f5e7da.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/0181e8d97d7242399897ea497d6afc0b.png
[c7ff7305707b4650b8adf7d9cc6e7949.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/ce89122db3954b9b931186cd09dfae1c.png
[88c9467968e149cdb36ea8cc8fbe7706.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/d5bbe3dc3f9b43da82ea8449abb8648d.png
[ab6c17dc4be9461ab411ac6d79b2ff68.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/f9d3b3f2c4604a988834c675e9d57627.png
[4d423159616e4cc3b352bc7f2404c712.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/e05ac41f3ea04a04831b68a337192e4d.png
[27b0d2b51ad844f2bd4f317dcf929622.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/0b49374de48344f4a10891cf39d1ca17.png
[95b514c9f65f4ea898984a3ce01a5c9b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/bd740c46a00e4f9185daebd9490316e2.png
[a8d7f9c85d7144ceacfd28c51a1b983f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/73bd3e8f24824295a98413439ec3c543.png
[1f0a97356a5542ef856fc1e275f6e78b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/16a45704b73f4454a82b48a9ce2fc4c6.png
[3056d6aa4bdb4b72a675d0157ba92f0d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/0f3874b149644d14857e96f55657e66a.png
[http_archive.apache.org_dist_hive]: http://archive.apache.org/dist/hive/
[bf264d157aaf4758b7f9774e13b631e4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/98cdf644dbd4496db59d8e063438603f.png