hadoop – 为HA JobTracker配置oozie工作流属性

使用Oozie工作流程,您必须在工作流程的属性中指定群集的JobTracker.当您拥有一个JobTracker时,这很容易:

的JobTracker =主机名:端口

当群集配置为HA(高可用性)JobTracker时,我需要能够设置我的属性文件以便能够命中任何一个JobTracker主机,而无需在JobTracker故障转移到时更新我的​​所有属性文件第二个节点.

当通过http访问一个JobTracker时,如果它没有运行,它将重定向到另一个,但oozie不使用http,因此没有重定向,如果属性文件指定了作业跟踪器主机,则导致工作流失败没有运行.

如何配置我的属性文件来处理在HA中运行的JobTracker?

最佳答案 我刚刚完成了一些Oozie工作流程的设置,以使用HA JobTrackers和NameNodes.关键是使用您配置的HA服务的逻辑名称,而不是任何单独的主机名或端口.例如,默认的HA JobTracker名称为“logicaljt”.将hostname:port替换为’logicaljt’,只要运行Oozie的节点正确安装了相应的hdfs-site和mapred-site配置(隐式地由于属于集群,或明确地由于向其添加网关角色).

点赞