Kafka Streams使用的RocksDB fileanme含义

Question

在/tmp/streams-my-application-id下，我找到了RocksDB使用的文件。我的意图是通过du-h检查文件大小。

当看到文件名时，我很好奇文件名的含义。文件名是什么意思？我想这和Kafka Streams任务和分区有关。

前缀0和1是否意味着使用的主题数，后一个是使用的分区？

这个KafkaStreams应用程序只是使用KStream-KTable连接两个主题，其中一个主题被重新分区并还原到ktable中。

8,0K    ./0_2
8,0K    ./0_1
3,1M    ./1_2/rocksdb/KSTREAM-REDUCE-STATE-STORE-0000000002
3,1M    ./1_2/rocksdb
3,1M    ./1_2
3,0M    ./1_0/rocksdb/KSTREAM-REDUCE-STATE-STORE-0000000002
3,0M    ./1_0/rocksdb
3,1M    ./1_0
3,0M    ./1_1/rocksdb/KSTREAM-REDUCE-STATE-STORE-0000000002
3,0M    ./1_1/rocksdb
3,0M    ./1_1
8,0K    ./0_0

Answer 1

文件名是使用子拓扑和分区号派生的。

通常KStream应用程序被拆分为若干个子拓扑（如子拓扑0、1、2、…)。在使用有状态转换时,状态存储目录使用该引用来生成目录和文件名,如下所示：

<sub-topology-number>_<partition_number>

所以第一个数字表示子拓扑，第二个数字表示分区号

8,0K    ./0_2    //directory
8,0K    ./0_1    // diretory
3,1M    ./1_2/rocksdb/KSTREAM-REDUCE-STATE-STORE-0000000002      

而kstream-reduce-state-store-0000000002格式为

<Processor Node Type>-<Processor Node number>