flink三种部署模式

部署模式

flink可以通过以下三种模式部署:

  • Session Mode
  • Per-Job Mode
  • Application Mode

以上方式主要区别在于

  • 集群生命周期和资源隔离保证
  • 应用程序的main方法是在客户端还是在集群上执行。
Session Mode(会话模式)

会话模式假定存在已经在运行的集群,并使用该集群的资源来执行任何提交的应用程序。在同一(会话)集群中执行的应用程序使用并因此竞争相同的资源。这样做的好处是,您不必为每个提交的作业都创建集群。但是,如果其中一项作业行为不当或关闭了taskmanager,则该taskmanager上运行的所有作业都会受到故障的影响。除了对导致故障的作业产生负面影响外,这还意味着潜在的大规模恢复过程。此外,只有一个集群运行多个作业意味着JobManager的负载增加,JobManager负责簿记集群中所有作业。

Per-Job Mode

为了提供更好的资源隔离保证,Per-Job模式使用可用的集群管理器框架(例如YARN,Kubernetes)为每个提交的作业启动集群。该群集仅适用于该作业。作业完成后,集群将被torn down,所有附属的资源(文件等)将被清除。这提供了更好的资源隔离,因为行为不当的工作只能拖垮其自己的taskmanager。另外,由于每个作业有一个,因此它可以将簿记工作分散到多个JobManager中。== 由于这些原因,由于许多生产原因,首选工作资源分配模型是首选模式。==

    原文作者:左林右李02
    原文地址: https://blog.csdn.net/u011624157/article/details/107943208
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞