StreamX 是一个 Apache Flink 极速开发框架。项目的初衷是 —— 让 Flink 开发更简单。
StreamX 定位是 Flink|Spark 开发脚手架 + 流批一体大数据平台,项目本身采用 java、scala开发。前端使用 vuejs、antd design vue,使用 StreamX 开发,可以极大降低学习成本和开发门槛,让开发者只用关心最核心的业务。
StreamX 规范了项目的配置,鼓励函数式编程,定义了最佳的编程方式,提供了一系列开箱即用的Connectors,标准化了配置、开发、测试、部署、监控、运维的整个过程,提供scala和java两套api,其最终目的是打造一个一站式大数据平台,流批一体的解决方案。
Applicaion
模式, Yarn-Per-Job
模式启动启动
、停止
、savepoint
,从savepoint
恢复)notebook
(在线任务开发)开发
阶段到部署管理
全链路支持项目架构如下:
组成部分
Streamx 有三部分组成,分别是streamx-core、streamx-pump 和 streamx-console
streamx-core
streamx-core 定位是一个开发时框架,关注编码开发,规范了配置文件,按照约定优于配置的方式进行开发,提供了一个开发时 RunTime Content和一系列开箱即用的Connector,扩展了DataStream相关的方法,融合了DataStream和Flink sql api,简化繁琐的操作,聚焦业务本身,提高开发效率和开发体验
streamx-pump
pump 是抽水机,水泵的意思,streamx-pump的定位是一个数据抽取的组件,类似于flinkx,基于streamx-core中提供的各种connector开发,目的是打造一个方便快捷,开箱即用的大数据实时数据抽取和迁移组件,并且集成到streamx-console中,解决实时数据源获取问题,目前在规划中
streamx-console
streamx-console 是一个综合实时数据平台,低代码(Low Code)平台,可以较好的管理Flink任务,集成了项目编译、发布、参数配置、启动、savepoint,火焰图(flame graph),Flink SQL, 监控等诸多功能于一体,大大简化了Flink任务的日常操作和维护,融合了诸多最佳实践。旧时王谢堂前燕,飞入寻常百姓家,让大公司有能力研发使用的项目,现在人人可以使用, 其最终目标是打造成一个实时数仓,流批一体的一站式大数据解决方案
一、StreamPark简介 StreamPark(原StreamX)是一个流处理应用程序开发管理框架。初衷是让流处理更简单,旨在轻松构建和管理流处理应用程序,提供使用 Apache Flink 和 Apache Spark 编写流处理应用程序的开发框架,未来将支持更多其他引擎。同时,StreamPark 提供了一个流处理应用管理平台,核心能力包括但不限于应用开发、调试、交互查询、部署、运维、实时
apache组件下载地址: https://downloads.apache.org/ httpd下载地址: https://downloads.apache.org/httpd/ https://downloads.apache.org/httpd/httpd-2.4.54.tar.gz apr下载地址: https://downloads.apache.org/apr/ https://dow
JFinal 是基于 Java 语言的极速 WEB + ORM + AOP + Template Engine 框架,其核心设计目标是开发迅速、代码量少、学习简单、功能强大、轻量级、易扩展、Restful。
本文向大家介绍JFinal极速开发框架使用笔记分享,包括了JFinal极速开发框架使用笔记分享的使用技巧和注意事项,需要的朋友参考一下 记录第一次使用JFinal,从简单的框架搭建到增删改查,从自带的方法到正常框架习惯的使用方式。 JFinal官网:http://www.jfinal.com/ JFinal 是基于 Java 语言的极速 WEB + ORM 框架,其核心设计目标是开发迅速、代码量少
本文向大家介绍PHP开发框架kohana中处理ajax请求的例子,包括了PHP开发框架kohana中处理ajax请求的例子的使用技巧和注意事项,需要的朋友参考一下 今天分享的是在kohana中处理页面的ajax请求.2步搞定.前提是你的kohana框架已经可以正确运行了,注意下. 1.页面发出请求. 现在主流的javascript框架非jQuery莫属.jQuery对ajax请求也作了封装,这里就
我们在单个节点上有1个喷口和1个螺栓。Spout从RabbitMQ读取数据,并将其发送到唯一一个将数据写入Cassandra的bolt。 我们的数据源每秒生成10000条消息,而storm处理这条消息大约需要10秒,这对我们来说太慢了。 我们尝试增加拓扑的并行度,但没有任何区别。 } 更新:有没有可能使用shuffle分组,相同的元组将被处理多次?使用的配置(喷口=4.螺栓=4),现在的问题是,随
本文向大家介绍phpsh hpcli开发的终极方案(php版本切换的 批处理),包括了phpsh hpcli开发的终极方案(php版本切换的 批处理)的使用技巧和注意事项,需要的朋友参考一下 最近用php代替vbs脚本,做些小工具的开发。为了方便测试不同php版本的兼容,专门写了一个 php版本切换的 批处理 phpsh.cmd,支持安装到系统、卸载等功能,还支持多个php版本的任意切换(需要先安
1. 逻辑流程 注(1): 此处逻辑为可选逻辑,详情参见 【小程序深度对接->上报用户信息】 2. 集成步骤 2.1 添加发起会话按钮 <button open-type="contact" />咨询客服</button> 2.2 小能客户端配置小程序 登录小能客户端,设置->接入设置->第三方接入->小程序 ->点击按钮接入微信小程序 -> 选择极速模式 填写小程序信息 复制小能服务器信息,需
我正在为我的数据流开发新的Nifi处理器。我在eclipse中修改代码,创建新的。nar文件,并将其复制到Nifi lib中进行测试。 有没有更好的方法来测试你的新。NAR在Nifi?因为每一个小的变化都重启Nifi会降低你的开发速度。
一、jfinal 3.0 之前版本的升级 jfinal 3.0 是大版本升级,此前版本升到 jfinal 3.0 请移步 14.2、14.3、14.4、14.5 小节,这几个小节中的内容极少,升级很方便。 二、jfinal 3.0 之后版本的升级 1、升级到 3.1 无需修改,平滑升级 2、升级到 3.2 IStringSource 更名为 ISource 按照 14.2 小节 升级 Ret 3、