当前位置: 首页 > 知识库问答 >
问题:

阿帕奇水槽自动关闭

经伟
2023-03-14

我正在使用 flume 1.8.0,它会自动关闭,任何人都可以帮助我。

  1. 在 JAVA 8 上运行
  2. JAVA_OPTS=“-服务器 -Xms4g -Xmx4g” 配置在水槽中
  3. 使用以下命令启动 flume ./bin/flume-ng agent --conf conf --conf-file ./conf/flume-conf-postgresql.properties --name dfm-topostgres-stream

关机前登录

2018年1月19日08:07:48,914错误[PollableSourceRunner-CustomDBFlumeSource-S6](com . ca . devo PS . DFM . db . dbcustomsource . CustomDBFlumeSource . process:200)-事务id: DFMSILO620180119130160,-异常java.lang.InterruptedException:睡眠中断2018年1月19日08:07:48,914信息[pollablesourcer

共有1个答案

金正阳
2023-03-14

如果检测到配置文件的更改,Flume将尝试重新加载其配置。

你在评论中引用的那句话:

org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunnable。运行:127)-正在检查文件:./conf/flume conf postgresql。更改的属性

表示这可能是相关的(上面是通过logger.debug()调用记录的)

不过,我应该补充一点,如果我只是触摸(1)配置文件,那么我会看到它记录重新加载,但它不会退出:

26 Feb 2018 15:16:35,785 INFO [conf-file-poller-0] (org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunnable.run:134) - 重新加载配置文件:/etc/opt/flume/conf/flume.conf

因此,可能更改文件的任何内容都会引入错误?如果是这种情况,您应该会看到另一个日志条目记录为ERROR,表明实际问题。

pollingpropertiesfileconfigurationprovider . Java:

try {
  eventBus.post(getConfiguration());
} catch (Exception e) {
  LOGGER.error("Failed to load configuration data. Exception follows.",
      e);
} catch (NoClassDefFoundError e) {
  LOGGER.error("Failed to start agent because dependencies were not " +
      "found in classpath. Error follows.", e);
} catch (Throwable t) {
  // caught because the caller does not handle or log Throwables
  LOGGER.error("Unhandled error", t);
}
 类似资料:
  • 我测试了Apache Flume将文件从本地传输到HDFS。但是,如果源文件来自多个服务器(将文件从不同服务器的本地传输到HDFS),我可以只运行一个Flume实例并将更多代理添加到Flume-conf.property中吗? 如果可以,如何在 flume-conf.properties 中编辑以下参数: 还有,我怎样才能运行水槽? 只能运行一个水槽。两个以上呢?

  • 目前我正在研究Apache spark和Apache ignite框架。 这篇文章介绍了它们之间的一些原则差异,但我意识到我仍然不理解它们的目的。 我的意思是,哪一个问题更容易产生火花而不是点燃,反之亦然?

  • 我试图从JMS源读取数据,并将它们推送到KAFKA主题中,几个小时后,我观察到推送到KAFKA主题的频率几乎为零,经过一些初步分析,我在FLUME日志中发现以下异常。 my flume显示max.request的当前设置值(在日志中)。尺寸为1048576,明显小于1399305,增加了此最大要求。大小可能会消除这些异常,但我无法找到更新该值的正确位置。 我的水槽。配置, 任何帮助都将不胜感激!!

  • Apache Kafka:分布式消息传递系统 Apache Storm:实时消息处理 我们如何在实时数据管道中使用这两种技术来处理事件数据? 在实时数据管道方面,我觉得两者做的工作是一样的。如何在数据管道上同时使用这两种技术?

  • 我正在使用Flink从Apache Pulsar读取数据。我在pulsar中有一个分区主题,有8个分区。在本主题中,我生成了1000条消息,分布在8个分区中。我的笔记本电脑中有8个内核,因此我有8个子任务(默认情况下,并行度=#个内核)。在执行Eclipse中的代码后,我打开了Flink UI,发现一些子任务没有收到任何记录(空闲)。我希望所有8个子任务都能得到利用(我希望每个子任务都映射到我的主

  • 我有阅读持续增长的问题。txt文件。我知道我可以从网上读到一些东西,比如说 但是如何用文本文件做呢?我应该传递什么而不是netcat?