使用度量的Flink事件计数

Question

我在《Kafka》中有一个主题，在这里我得到了json格式的多种类型的事件。我创建了一个filestreamsink，用bucketing将这些事件写入S3。

FlinkKafkaConsumer errorTopicConsumer = new FlinkKafkaConsumer(ERROR_KAFKA_TOPICS,
                new SimpleStringSchema(),
                properties);
        final StreamingFileSink<Object> errorSink = StreamingFileSink
                .forRowFormat(new Path(outputPath + "/error"), new SimpleStringEncoder<>("UTF-8"))
                .withBucketAssigner(new EventTimeBucketAssignerJson())
                .build();

        env.addSource(errorTopicConsumer)
                .name("error_source")
                .setParallelism(1)
                .addSink(errorSink)
                .name("error_sink").setParallelism(1);

public class EventTimeBucketAssignerJson implements BucketAssigner<Object, String> {

    @Override
    public String getBucketId(Object record, Context context) {
        StringBuffer partitionString = new StringBuffer();
        Tuple3<String, Long, String> tuple3 = (Tuple3<String, Long, String>) record;
        try {
            partitionString.append("event_name=")
                    .append(tuple3.f0).append("/");

            String timePartition = TimeUtils.getEventTimeDayPartition(tuple3.f1);
            partitionString.append(timePartition);
        } catch (Exception e) {
            partitionString.append("year=").append(Constants.DEFAULT_YEAR).append("/")
                    .append("month=").append(Constants.DEFAULT_MONTH).append("/")
                    .append("day=").append(Constants.DEFAULT_DAY);
        }
        return partitionString.toString();
    }

    @Override
    public SimpleVersionedSerializer<String> getSerializer() {
        return SimpleVersionedStringSerializer.INSTANCE;
    }
}

现在我想将每个事件的每小时计数作为指标发布给prometheus，并在此基础上发布grafana仪表板。

因此，请帮助我如何使用flink指标实现每个事件的小时计数并发布到prometheus。

谢谢

Answer 1

通常情况下，只需为请求创建一个计数器，然后使用Prometheus中的rate（）函数，即可获得给定时间内的请求速率。

然而，如果出于某种原因，您想自己做这件事，那么您可以做一些类似于在org中所做的事情。阿帕奇。Kafka。常见的指标。统计数据。速率 。因此，在这种情况下，您需要收集样本列表及其收集时间，以及用于计算速率的窗口大小，然后您可以简单地进行计算，即删除超出范围且已过期的样本，然后简单地计算窗口中的样本数。

然后可以将仪表设置为计算值。