Flume-即使接收器不工作，源也会接受事件吗？

Question

水槽新手。

假设我有一个代理，它有一个 avero 源、一个 hdfs 接收器和一个文件通道。

假设在某个时候接收器无法写入hdfs。源是否会继续接受事件，直到通道填满？

或者即使文件通道未满，源也会停止接受事件吗？

Answer 1

我已经对此进行了广泛的测试。在这种情况下，您将遇到困难。当接收器失败时，Flume 将开始引发异常。根据流的速度，频道也会填满，从而导致更多异常。控制故障的最佳方法是使用故障转移接收器处理器并配置接收器组。这样，如果一个接收器发生故障，你将设置一个备份接收器，其中数据丢失非常小。根据我的经验，我已经设置了一个 Avro 接收器，该接收器转到拓扑中的第二个 Flume 代理跳跃，如果该 Flume 代理出现故障，那么我的故障转移接收器是 2 个不同的 Hadoop 集群，我通过 HDFS 接收器将 Flume 事件写入其中一个 Hadoop 集群。然后，您必须回填这些事件。我发现网猫源对此很有效。