建议的基于Hadoop的设计/组件，用于摄取周期性REST API调用

Question

我们计划使用 REST API 调用从endpoint摄取数据并将数据存储到 HDFS。REST 调用以定期方式（每天或每小时）完成。

我已经用Flume完成了Twitter的接收，但我认为使用Flume不适合我当前的用例，因为我在Twitter中使用的不是像这样的连续数据水龙带，而是离散的定时调用。

我现在的想法是使用定制Java来处理REST API调用并保存到HDFS，然后在Java jar上使用Oozie协调器。

我想听听关于设计的建议/备选方案(如果比我现在想的更简单),以及该用例使用哪个(哪些)基于Hadoop的组件。如果你觉得我可以坚持水槽，那么请给我一个想法，如何做到这一点。

Answer 1

如Apache Flume网站所述：

Apache Flume是一个分布式、可靠且可用的系统，用于有效地收集、聚合大量日志数据并将其从许多不同来源移动到集中式数据存储。

如您所见，Flume的特性之一是数据的收集。由于HttpSource、AvroSurce、ThriftSource等，“类似推送或类似发射”的数据源很容易集成。在您的例子中，数据必须从基于超文本传输协议的服务中“主动提取”，集成并不明显，但可以完成。例如，通过使用ExecSource，它运行一个脚本获取数据并将其推送到Flume代理。

如果您使用专有代码来提取数据并将其写入HDFS，这样的设计是可以的，但您将丢失一些有趣的内置Flume特性（这可能需要您自己实现）：

• 可靠性。Flume具有确保数据在最终存储中真正持久化的机制，重试直到有效写入。这是通过使用内部通道缓冲输入（摄入负载峰值）和输出（保留数据直到有效持久化）的数据和事务概念来实现的。
• 性能。事务的使用和配置多个并行接收器（数据处理器）的可能性将使您的部署能够处理每秒生成的大量数据。
• 可用性。通过使用Flume，您不需要处理存储细节（例如HDFS API）。即使，如果有一天您决定更改最终存储，您也只需重新配置Flume代理以使用新的相关接收器。