Kafka将标点时间戳流到上下文时间戳之前
我们正在使用使用STREAM_TIME标点符号的自定义转换器。当我记录通过转换函数发送的消息时，来自context.timestamp（）的流时间显示如预期的那样——基于使用时间戳提取器派生的数据的合理日期。
现在——在过去的某个时候，我们收到了一些恶意消息，将流时间提前到2036年。我们现在已经阻止了这些上游，重新启动了Kafka河。
当流启动时，标点符号会在受影响任务的启动时运行，但会显示2036年的时间戳——即使消息通过转换，context.timestamp仍然显示有效日期...因此，流永远不会前进，标点符号也永远不会再次运行。下面是我如何在标点符号中导出时间戳的示例...
override def punctuate(timestamp: Long) : Unit = {
val currentTimeStamp = timestamp
共有1个答案
好的——在做了我应该做的事情并仔细阅读了Kafka Streams代码之后，很明显分区的流时间保存在元数据中，元数据保存在_consumer_offset中。应用程序重置工具是“重置”该数据的方法。
-
我知道这是一个非常常见的问题，但我觉得我找到的答案并没有真正解决问题。我将概述我的具体用例，并对来自其他SO答案和网络的信息进行总结。 对于我正在编写的服务，数据库条目被创建并存储在移动设备和我们的网站上，需要以两种方式同步。我们目前的目标是Android和iOS，它们都使用sqlite作为关系数据库。服务器端是使用Django和MySQL在Python中实现的，但将来可能会有其他解决方案取代它。
-
我有一个Flink程序，它接受两个流，即数据/传感器读数流和警报规则流。我正在广播规则流，并将其连接到数据流以生成动态警报。ProcessingTime的一切都很好，但EventTime却不行。我已经分配了时间戳 > 当两个流（即带有时间戳的流）同时出现时，如何使用“EventTime”生成警报 我是否也必须为我的规则流分配时间戳和水印？ 因为我的规则流只有在有任何添加/修改时才会有记录。是否有任
-
我正在使用spark结构流发送记录到一个Kafka主题。kafka主题是用config- 这样做使得目标Kafka主题记录具有与原始记录相同的时间戳。 我的Kafka流代码：
-
本文向大家介绍sqlite时间戳转时间语句(时间转时间戳)，包括了sqlite时间戳转时间语句(时间转时间戳)的使用技巧和注意事项，需要的朋友参考一下 下面是具体的实现代码：
-
谷歌云语音转文本和亚马逊转录都提供标点符号和单词时间戳。我可以得到标点符号时间戳吗？具体来说，我想要分句时间戳（句号、问号、感叹号），例如0:33秒、1:01、1:23、1:49、2:05等。 我想我可以使用谷歌或AWS用标点符号转录一个文件，然后将抄本分解成句子，然后为每个句子做单词时间戳。如果我可以为设置一个参数，这将更容易（对于一个包含500个句子的文件来说，大约是计算机时间的1/500）。
-
本文向大家介绍Python 时间戳之获取整点凌晨时间戳的操作方法，包括了Python 时间戳之获取整点凌晨时间戳的操作方法的使用技巧和注意事项，需要的朋友参考一下 Python时间戳操作很多，每次用点时候总是去查，查的麻烦，现在自己也好好归纳一下。 我现在刚好有个需求需要获取当天零点时间戳，但是网上查的大部分都是用时间戳相减，或者用时区的方式，总感觉不是很好，我就自己写了一个。 获取凌晨时间