利用docker搭建hadoop的开发环境（超简单）

亦凉 2023-07-20 10:51 18阅读 0赞

#     前言 #

本文是基于ubuntu 环境完成的，要完成hadoop的安装，[必须先在ubuntu上安装docker][ubuntu_docker],

# 一、下载hadoop镜像 #

1、换到root用户

执行  su root

这样做是方便执行命令

2、下载镜像

执行   docker search hadoop

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liNTQ2ODIyNjEy_size_16_color_FFFFFF_t_70][]

选择 第一个【sequenceiq/hadoop-docker】， 这个最容易安装

执行   docker pull sequenceiq/hadoop-docker

然后自动下载

下载完成后查看镜像

执行 docker images

![20200401111319903.png][]

# 二、运行hadoop  #

1、执行

docker run -i -t -p 50070:50070 -p 9000:9000 -p 8088:8088 -p 8040:8040 -p 8042:8042 -p 49707:49707 -p 50010:50010 -p 50075:50075 -p 50090:50090 sequenceiq/hadoop-docker:latest 
     /etc/bootstrap.sh -bash

结果如下

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liNTQ2ODIyNjEy_size_16_color_FFFFFF_t_70 1][]

说明成功了，并且进入容器内

2、进入hadoop的目录

cd /usr/local/hadoop-2.7.0

3、启动mapreduce

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar grep input output 'dfs\[a-z.\]+'

执行结果如下，

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liNTQ2ODIyNjEy_size_16_color_FFFFFF_t_70 2][]

以上部分截图

3、访问 ip:50070

我的机器的ip是[192.168.153.130/][192.168.153.130]

所以访问 [http://192.168.153.130:50070/][http_192.168.153.130_50070]

结果如下

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liNTQ2ODIyNjEy_size_16_color_FFFFFF_t_70 3][]

到此为止，利用docker 已经成功部署了hadoop，不 过这里要申明下，这是单机版本的，开发自己练练手是完全OK的

![format_png][]

[ubuntu_docker]: https://blog.csdn.net/yb546822612/article/details/105225484
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liNTQ2ODIyNjEy_size_16_color_FFFFFF_t_70]: /images/20230528/16440f9cd1fd49a4877ec320cff8ae47.png
[20200401111319903.png]: /images/20230528/02ace4ce1e134eb6818da32f793a7a22.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liNTQ2ODIyNjEy_size_16_color_FFFFFF_t_70 1]: /images/20230528/4fed5c58d3e94477b16f21995cb37db1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liNTQ2ODIyNjEy_size_16_color_FFFFFF_t_70 2]: /images/20230528/63a70719040e4c42bbcf4d2f242b5e14.png
[192.168.153.130]: http://192.168.153.130/
[http_192.168.153.130_50070]: http://192.168.153.130:50070/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liNTQ2ODIyNjEy_size_16_color_FFFFFF_t_70 3]: /images/20230528/10b2f7b5982346f89531312a48159254.png
[format_png]: /images/20230528/fe817f7e1cfb4690965ca495722fcce8.png