官方WordCount案例以及自己的实际操作

女爷i 2023-06-30 15:54 20阅读 0赞

# **官方WordCount案例：** #

**1. 创建在hadoop-2.7.2文件下面创建一个wcinput文件夹**

\[atguigu@hadoop101 hadoop-2.7.2\]$ mkdir wcinput

**2. 在wcinput文件下创建一个wc.input文件**

\[atguigu@hadoop101 hadoop-2.7.2\]$ cd wcinput

\[atguigu@hadoop101 wcinput\]$ touch wc.input

**3. 编辑wc.input文件**

\[atguigu@hadoop101 wcinput\]$ vi wc.input

在文件中输入如下内容

hadoop yarn

hadoop mapreduce

atguigu

保存退出：：wq

**4. 回到Hadoop目录/opt/module/hadoop-2.7.2**

**5. 执行程序**

\[atguigu@hadoop101 hadoop-2.7.2\]$ hadoop jar

share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput

**6. 查看结果**

\[atguigu@hadoop101 hadoop-2.7.2\]$ cat wcoutput/part-r-00000

atguigu 2

hadoop  2

mapreduce       1

yarn    1

# **自己的案例：** #

**1.首先启动集群**

**\[root@hdp-1 ~\]\# start-all.sh **

**在网页上登录：**http://hdp-01:50070

**2.创建wcinput**

**在/root/apps/hadoop-2.8.1/share/hadoop/mapreduce路径下，**

**查看**** hadoop-mapreduce-examples-2.8.1.jar****包**

**并在当前目录下执行mkdir wcinput**

**进入wcinput下执行 touch wc.input**

**3.在网页上user目录下的root下创建wcinput**

**4.回到虚拟机上**

[root@hdp-1 ~]# cd apps
    [root@hdp-1 apps]# cd hadoop-2.8.1/
    [root@hdp-1 hadoop-2.8.1]# cd share/
    [root@hdp-1 share]# ll
    总用量 0
    drwxrwxr-x. 3 root root 20 6月   2 2017 doc
    drwxrwxr-x. 9 root root 99 6月   2 2017 hadoop
    [root@hdp-1 share]# cd hadoop/
    [root@hdp-1 hadoop]# cd mapreduce/
    [root@hdp-1 mapreduce]# ll
    总用量 5084
    -rw-rw-r--. 1 root root  562906 6月   2 2017 hadoop-mapreduce-client-app-2.8.1.jar
    -rw-rw-r--. 1 root root  782746 6月   2 2017 hadoop-mapreduce-client-common-2.8.1.jar
    -rw-rw-r--. 1 root root 1571185 6月   2 2017 hadoop-mapreduce-client-core-2.8.1.jar
    -rw-rw-r--. 1 root root  195006 6月   2 2017 hadoop-mapreduce-client-hs-2.8.1.jar
    -rw-rw-r--. 1 root root   31539 6月   2 2017 hadoop-mapreduce-client-hs-plugins-2.8.1.jar
    -rw-rw-r--. 1 root root   67004 6月   2 2017 hadoop-mapreduce-client-jobclient-2.8.1.jar
    -rw-rw-r--. 1 root root 1587163 6月   2 2017 hadoop-mapreduce-client-jobclient-2.8.1-tests.jar
    -rw-rw-r--. 1 root root   75501 6月   2 2017 hadoop-mapreduce-client-shuffle-2.8.1.jar
    -rw-rw-r--. 1 root root  301938 6月   2 2017 hadoop-mapreduce-examples-2.8.1.jar
    drwxrwxr-x. 2 root root    4096 6月   2 2017 jdiff
    drwxrwxr-x. 2 root root    4096 6月   2 2017 lib
    drwxrwxr-x. 2 root root      30 6月   2 2017 lib-examples
    drwxrwxr-x. 2 root root    4096 6月   2 2017 sources
    drwxr-xr-x. 2 root root      22 1月  18 13:12 wcinput
    [root@hdp-1 mapreduce]# cd wcinput/
    [root@hdp-1 wcinput]# hdfs dfs -put wc.input /user/root/wcinput

执行\[root@hdp-1 wcinput\]\# hdfs dfs -put wc.input /user/root/wcinput

**5.回到网页刷新user/root**

**查看是否有wcoutput**

**点击****part-r-00000**

**点击下载查看**

**6.也可以虚拟机上**

**\[root@hdp-1 mapreduce\]\# hdfs dfs -cat /user/root/wcoutput/part-r-00000**

[root@hdp-1 mapreduce]# hdfs dfs -cat /user/root/wcoutput/part-r-00000
    atguigu 2
    doop    1
    hadoop  1
    mapreduce       1
    yarn    1