windows下运行hadoop的wordcount示例超详细过程

痛定思痛。 2023-05-22 14:26 85阅读 0赞

### windows下运行hadoop的wordcount示例超详细过程 ###

> 特别感谢参考博文中的两位博主的分享

#### 一.下载2个文件 ####

`https://github.com/MuhammadBilalYar/HADOOP-INSTALLATION-ON-WINDOW-10/blob/master/MapReduceClient.jar`

`https://github.com/MuhammadBilalYar/HADOOP-INSTALLATION-ON-WINDOW-10/blob/master/input_file.txt`

我把这两个文件放到了`D:/software/hadooptestfile`.

路径里还是不要带其他符号比较好，因为可能会报错如下：  
![在这里插入图片描述][20200418001542384.png]

首先应该启动集群,使用管理员身份打开cmd(由于集群format时是使用管理员format的，为保证id不出错，就自始至终使用一个角色。)

`start-all`

另外：关于hadoop的配置可以参照这篇文章,

传送门：[windows10下配置hadoop2.8.5超详细过程][windows10_hadoop2.8.5]

#### 二. 运行案例 ####

##### 2.1创建文件夹 #####

首先在hdfs中创建一个文件夹，这里我起名字为user，尽管有警告，但是不妨碍程序运行。

创建文件夹的命令：`hadoop fs -mkdir /user`  
![创建文件夹][20200418001557453.png]

##### 2.2放入文件 #####

把文件放到刚刚建好的文件夹中  
![在这里插入图片描述][20200418001611785.png]

##### 2.3 查看待输入的文件 #####

查看文件夹状态：`hadoop fs -ls /user/`

把文件放入hadoop的文件夹中：`hadoop fs -put C:/input_file.txt /user`

可以用下面这个命令查看上传的文件

`hadoop dfs -cat /user/input_file.txt`  
![查看待计算的文件][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZHhoc3E_size_16_color_FFFFFF_t_70]

关于这个命令，`hadoop fs -ls [hdfs上的路径]`

##### 2.4使用MapReduceClient计算 #####

`hadoop jar C:/MapReduceClient.jar wordcount /user /output_dir`  
![计算过程][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZHhoc3E_size_16_color_FFFFFF_t_70 1]

##### 2.5 查看运行结果 #####

`hadoop dfs -cat /output_dir/*`  
![运行结果][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZHhoc3E_size_16_color_FFFFFF_t_70 2]

#### 参考内容： ####

https://blog.csdn.net/sinat\_40381653/article/details/89472525

https://muhammadbilalyar.github.io/blogs/How-to-Run-Hadoop-wordcount-MapReduce-Example-on-Windows-10/

特别感谢两位博主写的blog！！

[20200418001542384.png]: /images/20230521/9cf8df5ecabf426fa504b52cbfbe54e1.png
[windows10_hadoop2.8.5]: https://blog.csdn.net/shdxhsq/article/details/105590655
[20200418001557453.png]: /images/20230521/a00b42f73a1d49e2837d907c3fca7083.png
[20200418001611785.png]: /images/20230521/a4f10cf6898f4ff89027413b130d8c36.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZHhoc3E_size_16_color_FFFFFF_t_70]: /images/20230521/5e0a161d8b134bd0b25317e38ac53675.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZHhoc3E_size_16_color_FFFFFF_t_70 1]: /images/20230521/10a3bf7e35814162bc02ac95ffe70b99.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZHhoc3E_size_16_color_FFFFFF_t_70 2]: /images/20230521/aa8bd917fef040088fe014925114cbc1.png