Hadoop 2.x 生态系统及技术架构图

桃扇骨 2023-10-18 15:12 180阅读 0赞

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n_size_16_color_FFFFFF_t_70][]

一、负责收集数据的工具：  
Sqoop（关系型数据导入Hadoop）  
Flume（日志数据导入Hadoop，支持数据源广泛）  
Kafka（支持数据源有限，但吞吐大）

二、负责存储数据的工具：  
HBase  
MongoDB  
Cassandra  
Accumulo

MySql  
Oracle  
DB2

HDFS（Hadoop Distribut File System）2.0

三、底层组件  
Apache Common（通用模块）、  
Avro（序列化成二进制）、  
OS（Linux、windows。。。）

四、通用工具  
Zookeeper分布式协作服务  
Oozie工作流流调度系统  
Ambari图形化部署、非xml，跟踪集群状态

五、分布式计算框架  
MapReduce（通过磁盘离线计算）  
Spark（通过内存实时计算）  
Storm（实现流式数据计算）  
Tez（GAG计算，对MR拆分）  
Impala（实现实时交互式计算）  
Flink、Slider、Open MPI  
HCatalog

YARN（跨集群资源调度管理）以上各种计算框架架构在YAEN上，H2.0引入

六、数据分析处理  
Hive数据仓库  
sql语句生成MR作业

Pig工作流引擎  
类似sql比MR语法简单

Mahout数据挖掘库  
提供了诸多机器学习算法

Java、.net  
R、Scala、Solr  
Impapla、Ohter ISV

七、结果输出  
经过数据分析处理，输出到BI工具、展示系统  
ETL Tools  
BI Reporting  
RDBMS  
OLAP

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190306090517389.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n,size_16,color_FFFFFF,t_70

发表评论取消回复

表情：

评论列表（有 0 条评论，180人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop 2.x 生态系统及技术架构图

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6

桃扇骨/ 2023年10月18日 15:12/ 0 赞/ 181 阅读

相关 Hadoop生态架构之Hbase

1.Hbase定义 HBase是一个开源的非关系型分布式数据库（NoSQL），它参考了谷歌的BigTable建模，实现的编程语言为 Java。是Apache软

迷南。/ 2023年06月29日 08:59/ 0 赞/ 28 阅读

相关 Hadoop生态架构之zookeeper

\ 1.zookeeper选举机制 Zookeeper虽然在配置文件中并没有指定master和slave，但是，zookeeper工作时，是有一个节点为leader，其他则

矫情吗；*/ 2023年06月29日 08:28/ 0 赞/ 26 阅读

相关 Hadoop生态系统

![Center][] 摘要：介绍Hadoop生态系统，从Hadoop生态系统有什么成员，成员能做什么和Hadoop生态系统能够提供大数据问题解决方案两方面来认识。关键词

末蓝、/ 2022年08月25日 13:44/ 0 赞/ 311 阅读

相关 Hadoop生态系统小记

www.easyhadoop.com Hadoop能解决哪些问题（Hadoop集群把淘汰的机器放在一起） Hadoop需求海量数据需要及时分析和处理

小鱼儿/ 2022年08月07日 10:58/ 0 赞/ 344 阅读

相关 Hadoop生态系统常用组件导图

Hadoop生态系统主要组件导图： ![这里写图片描述][20161126132053124] [看大图][20161126132053124] [2016112613

不念不忘少年蓝@/ 2022年07月14日 03:55/ 0 赞/ 371 阅读

相关 Hadoop2.X架构浅析

Hadoop2.X核心包括两个module： HDFS – Hadoop File System。 YARN – Yet Another Resource Negoti

蔚落/ 2022年06月15日 09:52/ 0 赞/ 367 阅读

相关 Hadoop生态系统介绍

Hadoop于2005年秋天作为Lucene的子项目Nutch的一部分正式引入Apache基金会。2006年3月份，Map-Reduce和Nutch Distributed F

骑猪看日落/ 2022年06月07日 02:06/ 0 赞/ 319 阅读

相关 Hadoop生态系统

Hadoop生态系统原创 2016年05月24日 20:20:58 标签： [hadoop][] / [hdfs][] / [MapRedu

落日映苍穹つ/ 2022年06月02日 01:08/ 0 赞/ 346 阅读

相关 hadoop2.2生态系统快速安装脚本

\[b\]\[color=green\]\[size=large\]对于使用hadoop进行开发的朋友们，可能要自己搭建一套hadoop的运行环境，如果不是经常变动的还好，如果

待我称王封你为后i/ 2022年04月12日 03:12/ 0 赞/ 287 阅读