原文:https://www.codenong.com/cs106935099/
这个集成有点类似后来dinky 开源项目。
如果你是Flink的学习者或者爱好者,除了学习Flink本身之外,你是否在寻找一款Flink的开发部署工具。很幸运,Apache社区就有这么一款工具:Zeppelin。而且他可能是开源届最好的Flink开发平台。
下面是Zeppelin和Flink的故事。
Flink问:虽然我提供了多种语言支持,有SQL,Java,Scala还有Python,但是每种语言都有自己的入口,用户很难多种语言混着用。比如在sql-client中只能运行Sql,不能写UDF,在pyflink shell里,只能用python的udf,不能用scala和java的udf。有没有谁能帮我把这些语言全部打通。
Zeppelin答:我可以。
Flink问:我的一个很大的使用场景是实时大屏,但是我一个人办不到,往往需要借助第三方存储,还需要前端开发,有没有谁能让用户不用写前端代码就实现实时大屏
Zeppelin答:我可以。
Flink问:我的Sql已经很强大了,但是用户在sql-client里不能写comment,而且不支持运行多条sql语句,有谁能帮我把这些功能补齐下。
Zeppelin答:我可以。
Flink问:好多初学者说要跑一个flink job实在是太难了,好多东西需要配置,还要学习各种命令行,有没有谁能让用户更容易得提交和管理Flink Job。
Zeppelin答:我可以。
Flink问:Flink Job提交目前只能一个个提交,一个job跑完跑另外一个,有些用户想并行执行多个Flink Job,谁能帮我搞定这个需求?
Zeppelin答:我可以。
Flink问:我有丰富的connector,但是用户每次都要把connector打包到uber jar里,或者copy到flink的lib下,但是这样会把各种connector jar混在一起,容易发生冲突,很难管理,有谁能提供一个干净点的方案?
Zeppelin答:我可以。
如果你也有以上的疑问和需求,那么来了解下Zeppelin吧。我们为你整理了Zeppelin的视频教程以及文章教程。你也可以加入Flink on Zeppelin的钉钉群来加入我们的讨论。
Flink on Zeppelin 文章教程
Flink on Zeppelin (2) - Batch篇
Flink on Zeppelin (3) - Streaming篇
Flink on Zeppelin的视频教程
哔哩哔哩地址链接:https://www.bilibili.com/video/BV1Te411W73b/
视频内容大纲
Flink on Zeppelin 1. 安装启动Zeppelin
Flink on Zeppelin 1. 补充Zeppelin基本概念
Flink on Zeppelin 2. Local模式
Flink on Zeppelin 3. 多语言支持
Flink on Zeppelin 4. Remote模式
Flink on Zeppelin 5. Yarn模式
Flink on Zeppelin 6. Interpreter bind mode (Per Note Isolated)
Flink on Zeppelin 7. Interpreter bind mode (Per User Isolated)
Flink on Zeppelin 8. Inline Configuraiton
Flink on Zeppelin 9. Hive Integration
Flink on Zeppelin 10. SQL 入门
Flink on Zeppelin 11. Streaming 数据可视化 Single模式
Flink on Zeppelin 12. Streaming 数据可视化 Update模式
Flink on Zeppelin 13. Streaming 数据可视化 Append模式
Flink on Zeppelin 14. 连接kafka数据源
Flink on Zeppelin 15. Streaming ETL
Flink on Zeppelin 16. Scala UDF
Flink on Zeppelin 17. Python DUF
Flink on Zeppelin 18. UDF via flink.udf.jars
Flink on Zeppelin 19. PyFlink 入门
Flink on Zeppelin 20. Flink 最佳实践1
Flink on Zeppelin 21. Flink 最佳实践2