articleList

06-Flink常见的运行部署模式介绍和运行流程浅析

2025/03/13 posted in  Flink
Tags: 

  • Flink 部署方式是灵活,主要是对Flink计算时所需资源的管理方式不同

    • Local 本地部署,直接启动进程,适合调试使用
    • Standalone Cluster集群部署,flink自带集群模式
    • On Yarn 计算资源统一由Hadoop YARN管理资源进行调度,按需使用提高集群的资源利用率,生产环境
  • 运行流程

    • 用户提交Flink程序到JobClient
    • JobClient的 解析、优化提交到JobManager
    • TaskManager运行task, 并上报信息给JobManager
    • 通俗解释
      • JobManager 包工头
      • TaskManager 任务组长
      • Task solt 工人 (并行去做事情)
        36457171.png