《flink》专题
-
Flink 窗口模型
一、窗口概念 在大多数场景下，我们需要统计的数据流都是无界的，因此我们无法等待整个数据流终止后才进行统计。通常情况下，我们只需要对某个时间范围或者数量范围内的数据进行统计分析：如每隔五分钟统计一次过去一小时内所有商品的点击量；或者每发生1000次点击后，都去统计一下每个商品点击率的占比。在 Flink 中，我们使用窗口 (Window) 来实现这类功能。按照统计维度的不同，Flink 中的窗口可以
-
Flink Data Sink
一、Data Sinks 在使用 Flink 进行数据处理时，数据经 Data Source 流入，然后通过系列 Transformations 的转化，最终可以通过 Sink 将计算结果进行输出，Flink Data Sinks 就是用于定义数据流最终的输出位置。Flink 提供了几个较为简单的 Sink API 用于日常的开发，具体如下： 1.1 writeAsText writeAsText
-
Flink Data Transformation
一、Transformations 分类 Flink 的 Transformations 操作主要用于将一个和多个 DataStream 按需转换成新的 DataStream。它主要分为以下三类： DataStream Transformations：进行数据流相关转换操作； Physical partitioning：物理分区。Flink 提供的底层 API ，允许用户定义数据的分区规则； Ta
-
Flink Data Source
一、内置 Data Source Flink Data Source 用于定义 Flink 程序的数据来源，Flink 官方提供了多种数据获取方法，用于帮助开发者简单快速地构建输入流，具体如下： 1.1 基于文件构建 1. readTextFile(path)：按照 TextInputFormat 格式读取文本文件，并将其内容以字符串的形式返回。示例如下： env.readTextFile(fil
-
Flink 开发环境搭建
一、安装 Scala 插件 Flink 分别提供了基于 Java 语言和 Scala 语言的 API ，如果想要使用 Scala 语言来开发 Flink 程序，可以通过在 IDEA 中安装 Scala 插件来提供语法提示，代码高亮等功能。打开 IDEA , 依次点击 File => settings => plugins 打开插件安装页面，搜索 Scala 插件并进行安装，安装完成后，重启 IDE
-
Flink 核心概念综述
一、Flink 简介 Apache Flink 诞生于柏林工业大学的一个研究性项目，原名 StratoSphere 。2014 年，由 StratoSphere 项目孵化出 Flink，并于同年捐赠 Apache，之后成为 Apache 的顶级项目。2019 年 1 年，阿里巴巴收购了 Flink 的母公司 Data Artisans，并宣布开源内部的 Blink，Blink 是阿里巴巴基于 Fl
-
Java lambda表达式实现Flink WordCount过程解析
本文向大家介绍Java lambda表达式实现Flink WordCount过程解析，包括了Java lambda表达式实现Flink WordCount过程解析的使用技巧和注意事项，需要的朋友参考一下 这篇文章主要介绍了Java lambda表达式实现Flink WordCount过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 本篇我们
-
在中获取错误。eclipse中java中Flink的print（）
当我试图在eclipse中执行一个基本的Flink程序时，我遇到了一个错误，原因是。由datastream\u name调用的print（）。print（）用于打印我的数据流。 使用Java8 错误
-
错误：无法在Windows 10上创建Flink的Java虚拟机安装
我正在尝试在Windows 10上安装Flink 1.11.2。我还安装了Cygwin以运行该命令/启动群集。嘘，开始Flink。我本想通过Chrome浏览器打开Flink的仪表板，但联系不到它。所以，我检查了日志文件，它说： “未正确指定VM选项‘MaxMetaspaceSize=268435456’错误：无法创建Java虚拟机。错误：发生致命异常。程序将退出。” 我还成功安装了java版本“1
-
apache flink windows安装
我正在尝试在遇到各种问题的windows上安装flink。请帮忙。 > 从网络下载tar文件，并没有给我windows bat文件选项。使用的下载链接位于https://flink.apache.org/downloads.html#apache-flink-1111。所以我无法运行start local。球棒事实上，我甚至没有开始本地。上海。我安装cygwin只是为了运行start cluste
-
为什么我的Flink独立群集没有收到我的作业？
我在Flink（Java）中创建了一个程序来计算3个不同房间的9个假传感器的平均值。如果我启动jar文件，该程序运行良好。所以我决定启动flink独立集群来检查运行我的作业和相应任务的TaskManager，如这里（https://ci.apache.org/projects/flink/flink-docs-stable/tutorials/local_setup.html）。我正在我的机器上运
-
为纱线簇中的Flink作业设置Flink检查点的路径动态
我用纱线做Flink的工作。对于每个Flink作业，我都会创建一个检查点。 我提交了一份在我的纱线集群中运行的Flink作业。我有一个轮询作业，它检查一个作业是否在纱线上失败并重新启动它。再次提交作业时，纱线会为此Flink作业创建一个新的application\u id。如何配置重新提交的Flink作业以使用重新启动的Flink作业的检查点。 我已经设置了conf的状态。保存点。目录=hdfs:
-
从YARN上的另一个程序开始的Flink作业失败，“JobClientActor似乎已经死亡”
我是flink的新用户，我有以下问题。我使用纱线簇上的flink将从RDBMS提取的相关数据传输到HBase。我在java上使用多个ExecutionEnvironments（每个RDB表一个，以并行方式传输表行）编写flink批处理应用程序，以按表顺序传输（因为env.execute（）的调用被阻塞）。 我开始这样的纱线训练 然后，我在通过shell脚本传输启动的纱线会话上运行我的应用程序。sh
-
在独立flink集群中提交flink作业时，如何指定不同于守护程序日志文件的日志文件
当我启动flink独立集群时，它会将守护程序日志记录在conf/log4j中提到的文件中。属性文件，当我在该集群中提交flink作业时，它使用相同的属性文件记录应用程序日志，并在TaskManager上写入相同的日志文件。我想为在flink独立集群中提交的每个应用程序提供单独的日志文件。有没有办法做到这一点
-
Apache Flink与Elasticsearch的集成
问题内容： 我正在尝试将Flink与Elasticsearch 2.1.1集成，我正在使用Maven依赖项 这是我从Kafka队列中读取事件的Java代码（工作正常），但是无论如何，如果我更改了任何相关设置，则事件不会在Elasticsearch中发布，也没有错误，在以下代码中到ElasticSearch的端口，主机名，集群名称或索引名称，然后立即看到错误，但当前它不显示任何错误，也没有在Elas