Hadoop系列之-1、大数据介绍

青旅半醒 2022-09-01 08:56 183阅读 0赞

**[大数据系列文章目录][Link 1]**

### 目录 ###

*  hadoop介绍
 *  Hadoop发展简史
 *  Hadoop特性优点
 *  Hadoop的历史版本和发行版公司
 *   *  Hadoop历史版本
     *  Hadoop发行版公司
     *   *  免费开源版本Apache
         *  免费开源版本HortonWorks
         *  软件收费版本Cloudera: CDH
 *  Hadoop架构
 *   *  1.x的版本架构模型介绍
     *  2.x的版本架构模型介绍
     *  3.x的版本架构模型介绍
 *  Hadoop集群
 *   *  集群简介
     *  集群部署方式
     *  结束

# hadoop介绍 #

> **Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。  
> 狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：**  
>  HDFS（分布式文件系统）：解决海量数据存储  
>  MAPREDUCE（分布式运算编程框架）：解决海量数据计算  
>  YARN（作业调度和集群资源管理的框架）：解决资源任务调度

广义上来说，Hadoop通常是指一个更广泛的概念—— Hadoop生态圈。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2w4NDgxNjg_size_16_color_FFFFFF_t_70]

> 当下的Hadoop已经成长为一个庞大的体系，随着生态系统的成长，新出现的项目越来越多，其中不乏一些非Apache主管的项目，这些项目对HADOOP是很好的补充或者更高层的抽象。比如：

<table> 
 <thead> 
  <tr> 
   <th>框架</th> 
   <th>用途</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>HDFS</td> 
   <td>分布式文件系统</td> 
  </tr> 
  <tr> 
   <td>MapReduce</td> 
   <td>分布式运算程序开发框架</td> 
  </tr> 
  <tr> 
   <td>ZooKeeper</td> 
   <td>分布式协调服务基础组件</td> 
  </tr> 
  <tr> 
   <td>HIVE</td> 
   <td>基于HADOOP的分布式数据仓库，提供基于SQL的查询数据操作</td> 
  </tr> 
  <tr> 
   <td>FLUME</td> 
   <td>日志数据采集框架</td> 
  </tr> 
  <tr> 
   <td>oozie</td> 
   <td>工作流调度框架</td> 
  </tr> 
  <tr> 
   <td>Sqoop</td> 
   <td>数据导入导出工具（比如用于mysql和HDFS之间）</td> 
  </tr> 
  <tr> 
   <td>Impala</td> 
   <td>基于hive的实时sql查询分析</td> 
  </tr> 
  <tr> 
   <td>Mahout</td> 
   <td>基于mapreduce/spark/flink等分布式运算框架的机器学习算法库</td> 
  </tr> 
 </tbody> 
</table>

# Hadoop发展简史 #

Hadoop是Apache Lucene创始人 Doug Cutting 创建的。最早起源于Nutch，它是Lucene的子项目。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题：如何解决数十亿网页的存储和索引问题。  
2003年Google发表了一篇论文为该问题提供了可行的解决方案。论文中描述的是谷歌的产品架构，该架构称为： 谷歌分布式文件系统（GFS）,可以解决他们在网页爬取和索引过程中产生的超大文件的存储需求。  
2004年 Google发表论文向全世界介绍了谷歌版的MapReduce系统 。  
同时期，以谷歌的论文为基础，Nutch的开发人员完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中剥离成为独立项目HADOOP，到2008年1月，HADOOP成为Apache顶级项目，迎来了它的快速发展期。  
2006年Google发表了论文是关于BigTable 的，这促使了后来的Hbase的发展。  
因此，Hadoop及其生态圈的发展离不开Google的贡献。

# Hadoop特性优点 #

扩容能力（Scalable）：Hadoop是在可用的计算机集群间分配数据并完成计算任务的，这些集群可用方便的扩展到数以千计的节点中。  
 成本低（Economical）：Hadoop通过普通廉价的机器组成服务器集群来分发以及处理数据，以至于成本很低。  
 高效率（Efficient）：通过并发数据，Hadoop可以在节点之间动态并行的移动数据，使得速度非常快。  
 可靠性（Rellable）：能自动维护数据的多份复制，并且在任务失败后能自动地重新部署（redeploy）计算任务。所以Hadoop的按位存储和处理数据的能力值得人们信赖。

# Hadoop的历史版本和发行版公司 #

## Hadoop历史版本 ##

> 1.x版本系列：hadoop版本当中的第二代开源版本，主要修复0.x版本的一些bug等，该版本已被淘汰  
> 2.x版本系列：架构产生重大变化，引入了yarn平台等许多新特性,是现在使用的主流版本。  
> 3.x版本系列: 加入多namenoode新特性，该版本是最新版本，但是还不太稳定。

## Hadoop发行版公司 ##

> Hadoop发行版本分为 开源社区版和商业版 。  
> 社区版是指由Apache软件基金会维护的版本，是官方维护的版本体系。  
> 商业版Hadoop是指由第三方商业公司在社区版Hadoop基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的版本，比较著名的有cloudera的CDH、mapR、hortonWorks等。

### 免费开源版本Apache ###

[http://hadoop.apache.org/][http_hadoop.apache.org]  
优点：拥有全世界的开源贡献者，代码更新迭代版本比较快，  
缺点：版本的升级，版本的维护，版本的兼容性，版本的补丁都可能考虑不太周到，  
apache所有软件的下载地址（包括各种历史版本）：  
[http://archive.apache.org/dist/][http_archive.apache.org_dist]

### 免费开源版本HortonWorks ###

[http://hadoop.apache.org/][http_hadoop.apache.org]  
hortonworks主要是雅虎主导Hadoop开发的副总裁，带领二十几个核心成员成立Hortonworks，核心产品软件HDP（ambari），HDF免费开源，并且提供一整套的web管理界面，供我们可以通过web界面管理我们的集群状态，web管理界面软件HDF网址（http://ambari.apache.org/），2018年，大数据领域的两大巨头公司Cloudera和Hortonworks宣布平等合并，Cloudera以股票方式收购Hortonworks，Cloudera股东最终获得合并公司60%的股份

### 软件收费版本Cloudera: CDH ###

[https://www.cloudera.com/][https_www.cloudera.com]  
cloudera主要是美国一家大数据公司在apache开源hadoop的版本上，通过自己公司内部的各种补丁，实现版本之间的稳定运行，大数据生态圈的各个版本的软件都提供了对应的版本，解决了版本的升级困难，版本兼容性等各种问题

我学习使用的Apache版的Hadoop，版本号为2.7.5。

# Hadoop架构 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2w4NDgxNjg_size_16_color_FFFFFF_t_70 1]

## 1.x的版本架构模型介绍 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2w4NDgxNjg_size_16_color_FFFFFF_t_70 2]

文件系统核心模块：  
NameNode ：集群当中的主节点，管理元数据(文件的大小，文件的位置，文件的权限)，主要用于管理集群当中的各种数据

SecondaryNameNode：主要能用于hadoop当中元数据信息的辅助管理  
DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

数据计算核心模块：  
 JobTracker：接收用户的计算请求任务，并分配任务给从节点  
TaskTracker ：负责执行主节点JobTracker分配的任务

## 2.x的版本架构模型介绍 ##

**第一种：NameNode与ResourceManager单节点架构模型**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2w4NDgxNjg_size_16_color_FFFFFF_t_70 3]  
文件系统核心模块：  
 NameNode：集群当中的主节点，主要用于管理集群当中的各种数据  
 secondaryNameNode：主要能用于hadoop当中元数据信息的辅助管理  
 DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

数据计算核心模块：  
 ResourceManager：接收用户的计算请求任务，并负责集群的资源分配  
NodeManager ：负责执行主节点APPmaster分配的任务

**第二种：NameNode高可用与ResourceManager单节点架构模型**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2w4NDgxNjg_size_16_color_FFFFFF_t_70 4]  
文件系统核心模块：  
 NameNode：集群当中的主节点，主要用于管理集群当中的各种数据，其中NameNode可以有两个，形成高可用状态  
 DataNode：集群当中的从节点，主要用于存储集群当中的各种数据  
 JournalNode：文件系统元数据信息管理

数据计算核心模块：  
 ResourceManager：接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分  
 NodeManager：负责执行主节点ResourceManager分配的任务

**第三种：NameNode单节点与ResourceManager高可用架构模型**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2w4NDgxNjg_size_16_color_FFFFFF_t_70 5]  
文件系统核心模块：  
 NameNode：集群当中的主节点，主要用于管理集群当中的各种数据  
 secondaryNameNode：主要能用于hadoop当中元数据信息的辅助管理  
DataNode ：集群当中的从节点，主要用于存储集群当中的各种数据

数据计算核心模块：  
 ResourceManager：接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分，通过zookeeper实现ResourceManager的高可用  
NodeManager ：负责执行主节点ResourceManager分配的任务

**第四种：NameNode与ResourceManager高可用架构模型**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2w4NDgxNjg_size_16_color_FFFFFF_t_70 6]  
文件系统核心模块：  
 NameNode：集群当中的主节点，主要用于管理集群当中的各种数据，一般都是使用两个，实现HA高可用  
JournalNode ：元数据信息管理进程，一般都是奇数个  
DataNode ：从节点，用于数据的存储

数据计算核心模块：  
 ResourceManager：Yarn平台的主节点，主要用于接收各种任务，通过两个，构建成高可用  
NodeManager ：Yarn平台的从节点，主要用于处理ResourceManager分配的任务

## 3.x的版本架构模型介绍 ##

> Hadoop3.x的基本架构和Hadoop2.x 类似，但是Hadoop3.x加入很多新特性：如支持多NameNode，同时对HDFS和MapReduce也进行了优化。

# Hadoop集群 #

## 集群简介 ##

HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。  
**HDFS集群负责海量数据的存储**，集群中的角色主要有：  
 NameNode、DataNode、SecondaryNameNode  
**YARN集群负责海量数据运算时的资源调度**，集群中的角色主要有：  
 ResourceManager、NodeManager  
那mapreduce是什么呢？它其实是一个分布式运算编程框架，是应用程序开发包，由用户按照编程规范进行程序开发，后打包运行在HDFS集群上，并且受到YARN集群的资源调度管理。

## 集群部署方式 ##

Hadoop部署方式分三种：  
 1、Standalone mode（独立模式）   
独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。  
 2、Pseudo-Distributed mode（伪分布式模式）   
伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，但分别启动单独的java进程，主要用于调试。  
 3、Cluster mode（群集模式）-单节点模式-高可用HA模式   
集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。

## 结束 ##

> 集群的安装我就不发了，看需要人群，如果很多人想看教程，我这后面会单独发一篇文章。

[Link 1]: https://blog.csdn.net/l848168/article/details/119147380
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2w4NDgxNjg_size_16_color_FFFFFF_t_70]: /images/20220829/6a59b2dc0dfe44dab5ca710eb5cbf775.png
[http_hadoop.apache.org]: http://hadoop.apache.org/
[http_archive.apache.org_dist]: http://archive.apache.org/dist/
[https_www.cloudera.com]: https://www.cloudera.com/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2w4NDgxNjg_size_16_color_FFFFFF_t_70 1]: /images/20220829/9eed2c31407f4eebb430acbfa7a370dd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2w4NDgxNjg_size_16_color_FFFFFF_t_70 2]: /images/20220829/fe5cfbb038ea4b51bfa6c444dc94eaa2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2w4NDgxNjg_size_16_color_FFFFFF_t_70 3]: /images/20220829/c0b4b5359b314438a623fb1b04928f3d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2w4NDgxNjg_size_16_color_FFFFFF_t_70 4]: /images/20220829/4193a3cdab704f6ab18787961d31f838.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2w4NDgxNjg_size_16_color_FFFFFF_t_70 5]: /images/20220829/5e893d3a3b9142b8b59202b7c4872fdc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2w4NDgxNjg_size_16_color_FFFFFF_t_70 6]: /images/20220829/0b1881bdcc5e4ba899f4150dad890ecc.png