Apache Flink-事件时间

Question

public class TimeStampAssigner implements AssignerWithPeriodicWatermarks<Tuple2<String, String>> {


    private final long maxOutOfOrderness = 0; // 3.5 

    private long currentMaxTimestamp;

    @Override
    public long extractTimestamp(Tuple2<String, String> element, long previousElementTimestamp) {

        currentMaxTimestamp = new  Date().getTime();

        return currentMaxTimestamp;
    }



    @Override
    public Watermark getCurrentWatermark() {

        return new Watermark(currentMaxTimestamp - maxOutOfOrderness);


    }

}

请检查上面的代码，并告诉我是否做得正确。在事件时间和水印分配之后，我想在process函数中处理流，其中我将为不同的密钥收集10分钟的流数据。

Answer 1

不，这不是一个适当的实现。一个事件时间时间戳应该是确定性的（即，可复制的），并且它应该基于事件流中的数据。如果您将使用Date（）.getTime，那么您将或多或少地使用处理时间。

通常，在进行事件时间处理时，您的事件将有一个时间戳字段，而时间戳提取器将返回该字段的值。

您所展示的实现将失去使用事件时间所带来的大部分好处，例如重新处理历史数据以再现历史结果的能力。