大数据协作框架之Oozie

深碍√TFBOYSˉ_ 2021-09-14 04:16 485阅读 0赞

# 一、Oozie的介绍 #

一个基于工作流引擎的开源框架，是由Cloudera公司贡献给Apache的，它能够提供对HadoopMapReduce和Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。Oozie工作流定义，同JBoss jBPM提供的jPDL一样，也提供了类似的流程定义语言hPDL，通过XML文件格式来实现流程的定义。对于工作流系统，一般都会有很多不同功能的节点，比如分支、并发、汇合等等。Oozie定义了控制流节点（Control Flow Nodes）和动作节点（Action Nodes），其中控制流节点定义了流程的开始和结束，以及控制流程的执行路径（Execution Path），如decision、fork、join等；而动作节点包括Hadoop map-reduce、Hadoop文件系统、Pig、SSH、HTTP、eMail和Oozie子流程。

# 二、Oozie的架构 #

![Center][]

Oozie三大实现功能：1）Workflow：顺序执行流程节点；2）Coordinator：定时触发workflow；3）Bundle Job：绑定多个coordinator。

Workflow：

> > > ![Center 1][]

Coordinator：

> > > ![Center 2][]

Bundle：

> > > > ![Center 3][]

Oozie Server组件：

> > > ![Center 4][]

# 三、总结 #

在实际的企业项目中，由于业务需求的增多，MapRedcue/Hive Job较多，需要定时调度执行，并且某些业务功能需要多个Job进行协作完成，此时工作流调度框架Oozie正好为我们很好的解决此问题。Oozie功能很强大，在实际项目中只需掌握最基本使用最多的就好，其中WorkFlow中MapRedcue Action和Shell Action最为常用，使用时注意workflow.xml文件编写，依赖包和文件。Oozie中调度功能很强大，不仅支持基于时间的调度，还是支持基于数据可用性的调度，目前企业使用最多的就是基于时间调度。

[Center]: /images/20210726/3f297cc826b14547b79b7155f409c412.png
[Center 1]: /images/20210726/0c30026f2eea4245b91abbdcd15187c9.png
[Center 2]: /images/20210726/b626eeb84dbe43698cdfab04b61425f1.png
[Center 3]: /images/20210726/d25a70dfdedd4388bc2547761d699fac.png
[Center 4]: /images/20210726/f0c55e9d74c84b45bcf4ebe89c75e26b.png