Flink序列化：POJO类型与GenericType

Question

在我的Flink应用程序中，我使用java.time.instant表示UTC时间戳。应用程序运行良好，但我最近在Flink日志中注意到这条消息：

“类class java.time.instant不能用作POJO类型，因为并非所有字段都是有效的POJO字段，必须作为GenericType处理。有关对性能影响的详细信息，请阅读Flink文档中的”数据类型&序列化“。”

Answer 1

日志消息有点误导，但您的理解是正确的。instant在Flink1.6中使用Kryo序列化。

在Flink1.7+instant将使用InstantSerializer序列化，而不是使用Kryoserializer序列化。

您的POJO是否会被这样对待，并不取决于instant将如何在POJO中序列化。消息只是说系统试图查看instant是否是POJO。

    public class SpecialMomentWithName {
        private String name;
        public Instant specialMoment;

        public String getName() {
            return name;
        }

        public void setName(String name) {
            this.name = name;
        }
    }

SpecialMomentWithName将始终作为Flink中的POJO处理。

在微基准测试中使用Kryo与新的InstanceSerializer序列化instant时，您可能会发现性能受到了很小的冲击。很难预测Flink作业的性能是否会从这样的更改中受益：如果instant的序列化成本消耗了大部分CPU时间（并且作业是CPU限制的），那么我希望性能得到改善。如果您的网络或硬盘（当使用RocksDB时）是限制因素，我不会期望性能得到改善。

如果没有对实际性能下降的地方进行一些分析，我就不会优化实例序列化的性能。如果发现像这样序列化时间会影响性能，可以尝试将实例表示为长。这将降低代码的可读性，并且可能会有额外的CPU周期用于类型之间的转换。