Hadoop1.x与Hadoop2.x之间的差异

迈不过友情╰ 2021-12-23 18:37 435阅读 0赞

### 一.Hadoop2.x产生背景 ###

1.Hadoop1.x中的HDFS和MapReduce在高可用、扩展性等方面存在问题。

2.HDFS存在的问题

1.NameNode单点故障，难以应用于在线场景。

2.NameNode压力过大，且内存受限，影响扩展性。

3.MapReduce存在的问题

1.JobTracker访问压力大，影响系统扩展性。

2.难以支持除MapReduce之外的计算框架，比如Spark、Strom等。

### 二.架构差异 ###

![1343081-20190514110340957-1820587581.png][]

1.Hadoop1.x由HDFS和MapReduce组成，不支持HA.

2.Hadoop2.x由HDFS、MapReduce和YARN三个分支组成，其中HDFS只支持2个节点HA【3.x支持一主多备】，MapReduce运行在YARN之上，YARN负责资源调度。

### 三.Hadoop2.x新特性 ###

1.解决HDFS1.x中单点故障和内存受限的问题。通过主备NameNode使用HA解决单点故障问题。如果主NameNode发生故障，则切换到备NameNode之上。

2.解决内存受限问题，使用HDFS Federation机制，内存水平扩展，支持多NameNode。每个NameNode分管一部分目录，所有NameNode共享所有DataNode存储资源。

3.主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换。

4.所有DataNode同时向两个NameNode汇报数据块信息。

### 四.切换方式 ###

1.手动切换，通过命令实现主备之间的切换，可以用在HDFS升级等场合。

2.自动切换，基于Zookeeper。Zookeeper Failover Controller【ZKFC】会监控NameNode的健康状态，并向Zookeeper注册NameNode，当NameNode挂掉后，ZKFC为NameNode竞争锁，获得ZKFC锁的NameNode变为active。

### 五.Federation ###

![1343081-20190514180054298-780852925.png][]

1.通过多个namenode/namespace把元数据的存储和管理分散到多个节点中，使得namenode/namespace可以通过增加机器来进行水平扩展。

2.能把单个namenode的负载分散到多个节点中，在HDFS数据规模较大的时候也不会降低HDFS的性能。可以通过多个namespace来隔离不同类型的应用，把不同类型应用的HDFS元数据的存储和管理分派给不同的namenode。

转载于:https://www.cnblogs.com/yszd/p/10863695.html

[1343081-20190514110340957-1820587581.png]: /images/20211223/f6e67ffb21704cc8a20cd25bdfd82403.png
[1343081-20190514180054298-780852925.png]: /images/20211223/27b66b2e886f4fd293024e9db6a6ddaf.png

发表评论取消回复

表情：

评论列表（有 0 条评论，435人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop-优化-Hadoop2.x、3.x新特性

Hadoop新特性文章目录 Hadoop新特性 1 Hadoop2.x新特性 1.1 集群间数据拷贝

女爷i/ 2023年03月02日 15:54/ 0 赞/ 119 阅读

相关 hadoop1.x和hadoop2.x 区别，热备冷备问题

Hadoop1.x（secondaryNameNode）和hadoop2.x (StandybyNameNode )的NameNode 热备冷备差别：[https://blog

本是古典何须时尚/ 2022年11月18日 01:29/ 0 赞/ 278 阅读

相关 Hadoop入门进阶步步高（六）-Hadoop1.x与Hadoop2的区别

六、Hadoop1.x与Hadoop2的区别 1、变更介绍 Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度

桃扇骨/ 2022年08月24日 00:59/ 0 赞/ 257 阅读

相关 hadoop1.x和hadoop2.x的比较

Hadoop1.x与Hadoop2的区别 1、变更介绍 Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用

小咪咪/ 2022年07月16日 13:09/ 0 赞/ 340 阅读

相关 Hadoop1.X架构浅析

一、Hadoop架构任何一个程序都可以被分为两个逻辑部分：程序逻辑本身和它操作的数据。数据本身需要大量的存储空间，而基于这些数据的计算或操作会消耗cpu，内存和存储空间。

爱被打了一巴掌/ 2022年06月15日 09:52/ 0 赞/ 291 阅读

相关（1）Hadoop笔记：Hadoop2.X搭建和配置

注： 1.环境为linux CentOS release 6.6 (Final)，非虚拟机。 2.Hadoop版本2.8.3 3.JDK版本1.8.0\_111

雨点打透心脏的1/2处/ 2022年05月28日 10:07/ 0 赞/ 321 阅读

相关 Hadoop 2.x与Hadoop 3.x之间的功能比较

Hadoop 2.x与Hadoop 3.x之间的功能比较 1.JDK要求 2.HDFS支持纠删码 3.YARN Timeline Service版本更新

布满荆棘的人生/ 2022年04月12日 14:17/ 0 赞/ 513 阅读

相关 Hadoop1.x与Hadoop2.x之间的差异

一.Hadoop2.x产生背景　　1.Hadoop1.x中的HDFS和MapReduce在高可用、扩展性等方面存在问题。　　2.HDFS存在的问题　　　　1.N

迈不过友情╰/ 2021年12月23日 18:37/ 0 赞/ 436 阅读

相关 hadoop2.x.x格式化遇到的问题

1 概述解决hadoop启动hdfs时，datanode无法启动的问题。错误为： java.io.IOException: Incompatible cl

心已赠人/ 2021年09月25日 16:04/ 0 赞/ 439 阅读

相关 Hadoop2.x实战：Hadoop安装与配置

林炳文Evankaka原创作品。转载请注明出处[http://blog.csdn.net/evankaka][http_blog.csdn.net_evan

左手的ㄟ右手/ 2021年09月11日 00:08/ 0 赞/ 561 阅读