StreamX 是一个 Apache Flink 极速开发框架。项目的初衷是 —— 让 Flink 开发更简单。
StreamX 定位是 Flink|Spark 开发脚手架 + 流批一体大数据平台，项目本身采用 java、scala开发。前端使用 vuejs、antd design vue，使用 StreamX 开发，可以极大降低学习成本和开发门槛，让开发者只用关心最核心的业务。
StreamX 规范了项目的配置，鼓励函数式编程，定义了最佳的编程方式，提供了一系列开箱即用的Connectors，标准化了配置、开发、测试、部署、监控、运维的整个过程，提供scala和java两套api，其最终目的是打造一个一站式大数据平台，流批一体的解决方案。
Features
- 开发脚手架
- 多版本Flink支持(1.11,x, 1.12.x, 1.13 )
- 一系列开箱即用的connectors
- 支持项目编译功能(maven 编译)
- 在线参数配置
- 支持
Applicaion模式,Yarn-Per-Job模式启动 - 快捷的日常操作(任务
启动、停止、savepoint,从savepoint恢复) - 支持火焰图
- 支持
notebook(在线任务开发) - 项目配置和依赖版本化管理
- 支持任务备份、回滚(配置回滚)
- 在线管理依赖(maven pom)和自定义jar
- 自定义udf、连接器等支持
- Flink SQL WebIDE
- 支持catalog、hive
- 任务运行失败发送告警邮件
- 支持任务失败重启重试
- 从任务
开发阶段到部署管理全链路支持 - ...
项目架构如下:
组成部分
Streamx 有三部分组成，分别是streamx-core、streamx-pump 和 streamx-console
streamx-core
streamx-core 定位是一个开发时框架,关注编码开发,规范了配置文件,按照约定优于配置的方式进行开发,提供了一个开发时 RunTime Content和一系列开箱即用的Connector,扩展了DataStream相关的方法,融合了DataStream和Flink sql api,简化繁琐的操作,聚焦业务本身,提高开发效率和开发体验
streamx-pump
pump 是抽水机,水泵的意思,streamx-pump的定位是一个数据抽取的组件,类似于flinkx,基于streamx-core中提供的各种connector开发,目的是打造一个方便快捷,开箱即用的大数据实时数据抽取和迁移组件,并且集成到streamx-console中,解决实时数据源获取问题,目前在规划中
streamx-console
streamx-console 是一个综合实时数据平台,低代码(Low Code)平台,可以较好的管理Flink任务,集成了项目编译、发布、参数配置、启动、savepoint,火焰图(flame graph),Flink SQL, 监控等诸多功能于一体,大大简化了Flink任务的日常操作和维护,融合了诸多最佳实践。旧时王谢堂前燕,飞入寻常百姓家,让大公司有能力研发使用的项目,现在人人可以使用, 其最终目标是打造成一个实时数仓,流批一体的一站式大数据解决方案
-
一、StreamPark简介 StreamPark（原StreamX）是一个流处理应用程序开发管理框架。初衷是让流处理更简单，旨在轻松构建和管理流处理应用程序，提供使用 Apache Flink 和 Apache Spark 编写流处理应用程序的开发框架，未来将支持更多其他引擎。同时，StreamPark 提供了一个流处理应用管理平台，核心能力包括但不限于应用开发、调试、交互查询、部署、运维、实时
-
apache组件下载地址： https://downloads.apache.org/ httpd下载地址： https://downloads.apache.org/httpd/ https://downloads.apache.org/httpd/httpd-2.4.54.tar.gz apr下载地址： https://downloads.apache.org/apr/ https://dow
-
JFinal 是基于 Java 语言的极速 WEB + ORM + AOP + Template Engine 框架，其核心设计目标是开发迅速、代码量少、学习简单、功能强大、轻量级、易扩展、Restful。
-
本文向大家介绍JFinal极速开发框架使用笔记分享，包括了JFinal极速开发框架使用笔记分享的使用技巧和注意事项，需要的朋友参考一下 记录第一次使用JFinal，从简单的框架搭建到增删改查，从自带的方法到正常框架习惯的使用方式。 JFinal官网：http://www.jfinal.com/ JFinal 是基于 Java 语言的极速 WEB + ORM 框架，其核心设计目标是开发迅速、代码量少
-
前端暑期转正 base北京 timeline 4.22 一面 等了一周回筛选中 4.27 被捞一面 面完变进人才库 （八股，手撕react/leetcode） 4.28 同一个组约二面 面完15分钟oc （项目，技术兴趣，手撕leetcode） 太曲折了xdm 感谢团子捞
-
我们在单个节点上有1个喷口和1个螺栓。Spout从RabbitMQ读取数据，并将其发送到唯一一个将数据写入Cassandra的bolt。 我们的数据源每秒生成10000条消息，而storm处理这条消息大约需要10秒，这对我们来说太慢了。 我们尝试增加拓扑的并行度，但没有任何区别。 } 更新：有没有可能使用shuffle分组，相同的元组将被处理多次？使用的配置（喷口=4.螺栓=4)，现在的问题是，随
-
本文向大家介绍PHP开发框架kohana中处理ajax请求的例子，包括了PHP开发框架kohana中处理ajax请求的例子的使用技巧和注意事项，需要的朋友参考一下 今天分享的是在kohana中处理页面的ajax请求.2步搞定.前提是你的kohana框架已经可以正确运行了,注意下. 1.页面发出请求. 现在主流的javascript框架非jQuery莫属.jQuery对ajax请求也作了封装,这里就
-
本文向大家介绍phpsh hpcli开发的终极方案(php版本切换的 批处理)，包括了phpsh hpcli开发的终极方案(php版本切换的 批处理)的使用技巧和注意事项，需要的朋友参考一下 最近用php代替vbs脚本，做些小工具的开发。为了方便测试不同php版本的兼容，专门写了一个 php版本切换的 批处理 phpsh.cmd，支持安装到系统、卸载等功能，还支持多个php版本的任意切换（需要先安
-
1. 逻辑流程 注(1): 此处逻辑为可选逻辑，详情参见 【小程序深度对接->上报用户信息】 2. 集成步骤 2.1 添加发起会话按钮 <button open-type="contact" />咨询客服</button> 2.2 小能客户端配置小程序 登录小能客户端，设置->接入设置->第三方接入->小程序 ->点击按钮接入微信小程序 -> 选择极速模式 填写小程序信息 复制小能服务器信息，需
-
我正在为我的数据流开发新的Nifi处理器。我在eclipse中修改代码，创建新的。nar文件，并将其复制到Nifi lib中进行测试。 有没有更好的方法来测试你的新。NAR在Nifi？因为每一个小的变化都重启Nifi会降低你的开发速度。