当前位置: 首页 > 工具软件 > Zeppelin > 使用案例 >

Flink on Zeppelin使用示例及填坑记录

马祺
2023-12-01

flink在zeppelin上的使用文档,参见flink interpreter

Flink on Zeppelin 基本概念

Flink on Zeppelin Architecture

  • 左侧的Flink解释器实际上是一个Flink客户端,负责编译和管理Flink作业的生命周期,如提交、取消作业、监控作业进度等
  • 右侧的Flink集群是执行Flink作业的地方。支持如下模式:、
    • MiniCluster(本地模式)、
    • Standalone cluster(远程模式)、
    • Yarn会话集群(Yarn模式)
    • Yarn应用程序会话集群(Yarn -application模式)。

在Flink解释器中有两个重要组件:Scala shell和Python shell:

  • Scala shell是Flink解释器的入口点,它会创建Flink程序的所有入口点,如ExecutionEnvironment、StreamExecutionEnvironment和TableEnvironment。Scala shell负责编译和运行Scala代码和sql。
  • Python shell是PyFlink的入口,它负责编译和运行Python代码。使用可参考使用PyFlink,
 类似资料: