hadoop 中MapReduce工作原理，如何实现文章单词统计，并在linux和Windows系统下运行

た入场券 2023-02-15 03:47 11阅读 0赞

MapReduce分布式计算框架作为hadoop中三大核心之一专门用来解决大数据计算，适用于大规模数据处理场景；每个节点处理存储在该节点的数据各司其职，它将大型数据操作作业分解为可以跨服务器集群并行执行的单个任务。每个job包含Map和Reduce两部分，只专注于实现Map和Reduce函数；至于其它的复杂细节，例如如何启动map任务和reduce任务、如何读取文件、如对map结果排序、如何把map结果数据分配给reduce、reduce如何把最终结果保存到文件等等，MapReduce框架都帮我们做好了。
    下面来说下简单原理和思想：
    首先当要读取一篇文章，会自动分成多个map任务块对文章进行分割，通过什么条件拆分任务块下的单词，可以自己定义，每个map任务读取目标文件后，每读一行就拆分一下单词，并记下来每个单词都出现了一次，重复的单词一样接着又记录出现一次，且每个单词次数都是1；文件的每一行都处理完成后，把单词自动进行排序，完成后用combne进行单词合并统计，单词和次数是以键值对的形式储存；然后shuffle进行数据迁移 ，拉数据统计到新节点，当然过程非常慢  ，相同的键的单词的次数放到List；处理完成后在多个服务器上启动reduce任务，每个reduce获取一部分map的处理结果，最后reduce任务进行汇总统计，输出最终的结果数据

![如图][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70]  
**接下来用java代码实现map和reduce**  
创建myMapper类继承Mapper ,重写map方法

/** *LongWritable偏移量 long，表示该行在文件中的位置， *Text在这里就是String类型， *后面的Text表示键的输出数据类型是Text, *值是LongWritable，对应java中的long类型，表示行号 */
    public class MyMapper  extends Mapper<LongWritable,Text,Text,LongWritable> { 
      
    private LongWritable one = new LongWritable(1);//值为1
    
        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { 
            String [] wds = value.toString().split(" ");//通过空格对每个单词进行分割
            for (String wd : wds) { 
                Text word = new Text(wd);
                context.write(word,one);//分割完后遍历，并写下来
    
            }
        }
    }
    
         **创建MyReduce类继承Reduce ,重写reduce方法**
    /** * Text 数据类型：字符串类型 String * LongWritable reduce阶段的输入类型 long * Text reduce阶段的输出数据类型 String类型 * LongWritable 输出词频个数 long */
    public class MyReduce extends Reducer<Text, LongWritable,Text, LongWritable> { 
       private LongWritable  res =  new LongWritable();
           /** * key 输入的 键 * value 输入的 值 * context 上下文对象,用于输出键值对 */
        @Override
        protected void reduce(Text key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException { 
            long ressum= 0;
            for (LongWritable one : values) { 
               ressum+=one.get();//前面说过，reduce统计所有相同单词出现的次数，是一个集合，迭代器遍历里面的所有值，进行相加
            }
            res.set(ressum);//统计完后的最终值放到res
            context.write(key,res);//把最后统计完成的结果写下来
        }
    } 
         编写好这两个核心业务逻辑之后，只需要把map和reduce装配成一个job，然后提交给Hadoop就可以了
       
       **创建一个MyDriver类作为主启动类**
    public class MyDriver { 
        public static void main(String[] args) throws Exception { 
            Configuration conf = new Configuration();
            //准备一个空任务
            Job job = Job.getInstance(conf,"wc");
            //设置该任务的主启动类
            job.setJarByClass(MyDriver.class);
            //设置任务的输入数据源文件,也就是要读取的文件,自己定义，这是在linux下
            FileInputFormat.addInputPath(job,new Path("/opt/abc.txt"));
            //设置你的mapper任务类
            job.setMapperClass(MyMapper.class);
            //设置mapper任务类的输出数据类型
            job.setMapOutputKeyClass(Text.class);
            job.setOutputValueClass(LongWritable.class);
            //设置你的reduce任务类
            job.setReducerClass(MyReduce.class);
            //设置reduce任务类输出的数据类型
            job.setOutputKeyClass(Text.class);
            job.setOutputValueClass(LongWritable.class);
            //设置任务的输出数据目标，会自动先去找存不存在这个目录，在执行前面的代码，存在就会提示报错，已存在
            FileOutputFormat.setOutputPath(job,new Path("/opt/eee"));
            //启动任务并执行
            job.waitForCompletion(true);
    
        }
    }
    	因为hadoop没有安装在windows系统下，所以需要把项目导成pom包到linux系统下解压才能运行，如果不会导包可以私下留言，这里就不在说明了，把导好的包拖到opt目录下，可以用Xftp6操作,执行linux命令解压包
    	java -jar  命令解压pom包

![如图][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70 1]  
标记的地方是主启动类的根目录可以看到已经生成eee目录了。  
最终统计后的数据会显示在 part-r -00000下。  
**当然也可以在windows系统下运行**  
只不过先要在windows系统下解压安装hadoop，还需要配置环境变量，在这里就给大家讲解如何在windows系统下安装hadoop.  
解压完成后配置hadoop环境变量，这个就和配置jdk一样，找到电脑的高级系统设置，新建HADOOP\_HOME=解压的hadoop目录，然后在path中把它添加进去%HADOOP\_HOME%\\bin,这样就配好了，这样的话我们去启动试试看行不行；  
**注意：**  
这时要把前面所说的文件路径改成硬盘的路径，而不是linux系统下的路径。  
**改完后会发现会报一个空指针异常**  
这是因为hadoop在windows系统下运行少了2个配置文件导致的，少了winutils.exe hadoop.dll这2个文件所以会报错，这2和文件很容易出现版本不兼容，所以下载的时候要注意：  
hadoop 的bin目录下少1个配置文件winutils.exe； 把hadoop.dll放到系统盘Windows的system32下这样就大功告成了，关掉后重启服务，这样就可以在Windows系统下运行了  
**有不理解的可以留言，关注我，不定时会发布新的心得！**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200604154756471.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200604163052405.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwMTc4MzQ5OTQwNzE=,size_16,color_FFFFFF,t_70