Hadoop数据分析平台实战——180Oozie工作流使用介绍

离线数据分析平台实战——180Oozie工作流使用介绍

Oozie工作流介绍

Oozie的四大组件服务分别是: workflow, coordinator, bundle和sla。
其中sla是作为监控服务协议的一个组件,
workflow定义oozie的基本工作流,
coordinator定义定时(或者是根据其他资源指标)运行的workflow任务,
bundle是将多个coordinator作为一个组件一起管理。
也就是说workflow是oozie中最基本的一个服务组件。
三大服务的的关系是:bundle包含多个coordinator,coordinator包含一个workflow,workflow定义具体的action动作。

Workflow介绍

workflow使用hadoop流程定义语言(Hadoop Process Defination Language, hPDL)来描述工作流,
hPDL是类似xml语言的一种相当简洁的定义类语言,使用有限数目的流控制节点和动作节点来描述workflow,也就是workflow有两大类节点构成:工作流控制节点和动作节点。
其中工作流控制节点是workflow本身提供的一种控制workflow工作流执行路径的方法,不可以自定义;动作节点是具体的操作方法,用户可以自定义。

Workflow工作流生命周期

状态含义说明
PREP一个工作流第一次创建就出于PREP状态,表示工作流以及创建但是还没有运行。
RUNNING当一个已经被创建的工作流Job开始执行的时候,就处于RUNNING状态。它不会达到结束状态,只能因为出错而结束,或者被挂起。
SUSPENDED一个RUNNING状态的工作流Job会变成SUSPENDED状态,而且它会一直处于该状态,除非这个工作流Job被重新开始执行或者被杀死。
SUCCEEDED一个RUNNING状态的工作流Job会变成SUSPENDED状态,而且它会一直处于该状态,除非这个工作流Job被重新开始执行或者被杀死。
KILLED当一个工作流Job处于被创建后的状态,或者处于RUNNING、SUSPENDED状态时,被杀死,则工作流Job的状态变为KILLED状态。
FAILED当一个工作流Job处于被创建后的状态,或者处于RUNNING、SUSPENDED状态时,被杀死,则工作流Job的状态变为KILLED状态。

Workflow工作流状态转换图

转换前状态转换后状态集合
未启动PREP
PREPRUNNING、KILLED
RUNNINGSUSPENDED、KILLED、SUCCEEDED、FAILED
SUSPENDEDRUNNING、KILLED

Workflow流控制节点

流控制节点XML元素类型描述
Start节点start该节点定义一个oozie workflow的起始节点,一个workflow只能有且只有一个start节点。
End节点end定义一个workflow的结束节点。
Decision节点decision该节点用于描述”switch-case”逻辑
Fork节点fork该节点会将多个执行流程分为多个并非操作。
Join节点join等待前面的fork节点指定的所有action完成。
Sub-workflow节点sub-workflow该节点会调用一个子workflow
Kill节点kill该节点会是oozie服务器杀死当前的workflow作业

Workflow默认支持的action动作

动作节点XMl元素类型描述类型
Java动作java该动作调用一个java类的main方法异步
Pig动作pig该动作调用一个Pig作业异步
Mapreduce动作map-reduce该动作会运行一个mapreduce作业,可以是java的mapreduce作业,也可以是streaming作业和pipe作业异步
Hdfs动作fs该动作运行定义给一个在HDFS上执行的命令(delete、mkdir、move 和chmod等)序列同步

Workflow扩展action动作

动作节点XML元素类型描述类型
Hive动作hive运行一个hive作业异步
Shell动作shell运行一个shell作业同步
Email动作email发送一个email邮件同步
SSH动作ssh调用oozie服务器上的指定shell脚本同步
Sqoop动作sqoop运行一个sqoop作业异步
Distcp动作distcp该动作运行一个分布式复制作业异步

Workflow异步操作

Workflow中的所有异步操作(action)都需要在hadoop集群上以mapreduce作业的方式进行执行,这样充分利用了集群的优点。
oozie通过两种方式来检查任务是否完成:

  1. 回调:当一个任务和一个计算被启动后,会为任务提供一个回调url,该任务执行完成后,会执行回调开通知oozie。
  2. 轮询:在任务执行回调失败的情况下,无论任何原因,都支持以轮询的方式进行查询。
    oozie提供这两种方式来控制任务,将资源密集型的任务放到服务节点之外,使oozie节约服务器资源,确保单个oozie服务器可以支持上千个作业。

注意: 需要hadoop集群开启hdfs、yarn和jobhistory服务。

Workflow规则

workflow任务主要由job.properties、workflow.xml和其他动作需要的资源文件三部分组成,其中job.properties中定义workflow作业的配置信息,workflow.xml定义作业的执行工作流。workflow.xml文件是一个有定义规则的xml文件。
workflow.xml配置规则详见:..\文档\workflow.template.xml
job.properties配置参考:..\文档\job.template.properties

Workflow案例介绍

  1. 定义fs动作,在hdfs文件系统上进行文件操作。
  2. 定义fs动作,判断文件夹存在,就删除,如果不存在,不进行任何操作。
  3. 定义shell动作,在服务器的tmp目录下创建一个文件夹。
  4. 定义hive动作,执行sql脚本,将数据导入到hive中的表中。
  5. 定义mapreduce动作,执行mapreduce任务。
    执行命令:oozie job -oozie http://hh:11000/oozie -config xxx/job.properties -run

Coordinator介绍

coordinator支持workflow过程的自动启动,常用于一些由时间/数据可用性来触发的、会多次调用的workflow过程的设计和执行。通过定义多个顺序运行的、前一个输出作为后一个输入的workflow,coordinator也支持定义常规运行的(包括以不同时间间隔运行的)workflow作业之间的依赖。

案例:编写一个每两分钟执行一次的workflow(也就是coordinator)任务。

Bundle介绍

Oozie Bundle是顶层抽象,允许将一组coordinator任务打包成为一个bundle任务。
组成一个整体bundle的多个coordinator可以作为一个整体来进行控制,包括启动、停止、挂起、继续、重新执行等操作。
Bundle中不支持它的coordinator应用程序之间的显示依赖关系,如果需要定义这些依赖关系,可以在 coordinator中通过输入输出事件来指定依赖。

    原文作者:Albert陈凯
    原文地址: https://www.jianshu.com/p/c708c41c6c93
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞