用于大型数据文件和流媒体的数据库

Question

我有一个“数据库选择”和体系结构问题。

用例：

1. 客户端将上载大型。json文件（或其他格式，如.tsv，不相关），其中每一行都是关于其客户的数据（例如姓名、地址等）

我的要求：

>

数据库应该有某种复制，因为我们不想丢失数据。

不需要索引，因为我们只是流数据。

对于这个问题，您对数据库有什么建议？我们尝试将其上传到Amazon S3并让他们处理缩放等问题，但存在读取/流式传输缓慢的问题。

谢了伊凡

Answer 1

最初将文件上传到S3是可以的，但随后将它们拾起并将每一行推到Kinesis（或者MSK，甚至EC2s上的Kafka，如果您愿意的话）；从那里，您可以连接您选择的流处理框架（Flink、Spark Streaming、Samza、Kafka Streams、Kinesis KCL）进行转换和丰富，最后您将希望将结果通过管道传输到允许流附加的存储堆栈中。一些显而易见的候选人：

• HBase
• 德鲁伊特
• Cassandra的密钥空间
• Hudi（或者可能是LakeFS？）在S3之上

从查询灵活性、延迟、集成选项/标准等方面来说，您选择哪一个取决于您的下游需求。