我正在使用 flume 1.8.0,它会自动关闭,任何人都可以帮助我。
关机前登录
2018年1月19日08:07:48,914错误[PollableSourceRunner-CustomDBFlumeSource-S6](com . ca . devo PS . DFM . db . dbcustomsource . CustomDBFlumeSource . process:200)-事务id: DFMSILO620180119130160,-异常java.lang.InterruptedException:睡眠中断2018年1月19日08:07:48,914信息[pollablesourcer
如果检测到配置文件的更改,Flume将尝试重新加载其配置。
你在评论中引用的那句话:
org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunnable。运行:127)-正在检查文件:./conf/flume conf postgresql。更改的属性
表示这可能是相关的(上面是通过logger.debug()调用记录的)
不过,我应该补充一点,如果我只是触摸(1)
配置文件,那么我会看到它记录重新加载,但它不会退出:
26 Feb 2018 15:16:35,785 INFO [conf-file-poller-0] (org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunnable.run:134) - 重新加载配置文件:/etc/opt/flume/conf/flume.conf
因此,可能更改文件的任何内容都会引入错误?如果是这种情况,您应该会看到另一个日志条目记录为ERROR,表明实际问题。
pollingpropertiesfileconfigurationprovider . Java:
try {
eventBus.post(getConfiguration());
} catch (Exception e) {
LOGGER.error("Failed to load configuration data. Exception follows.",
e);
} catch (NoClassDefFoundError e) {
LOGGER.error("Failed to start agent because dependencies were not " +
"found in classpath. Error follows.", e);
} catch (Throwable t) {
// caught because the caller does not handle or log Throwables
LOGGER.error("Unhandled error", t);
}
我测试了Apache Flume将文件从本地传输到HDFS。但是,如果源文件来自多个服务器(将文件从不同服务器的本地传输到HDFS),我可以只运行一个Flume实例并将更多代理添加到Flume-conf.property中吗? 如果可以,如何在 flume-conf.properties 中编辑以下参数: 还有,我怎样才能运行水槽? 只能运行一个水槽。两个以上呢?
目前我正在研究Apache spark和Apache ignite框架。 这篇文章介绍了它们之间的一些原则差异,但我意识到我仍然不理解它们的目的。 我的意思是,哪一个问题更容易产生火花而不是点燃,反之亦然?
我试图从JMS源读取数据,并将它们推送到KAFKA主题中,几个小时后,我观察到推送到KAFKA主题的频率几乎为零,经过一些初步分析,我在FLUME日志中发现以下异常。 my flume显示max.request的当前设置值(在日志中)。尺寸为1048576,明显小于1399305,增加了此最大要求。大小可能会消除这些异常,但我无法找到更新该值的正确位置。 我的水槽。配置, 任何帮助都将不胜感激!!
Apache Kafka:分布式消息传递系统 Apache Storm:实时消息处理 我们如何在实时数据管道中使用这两种技术来处理事件数据? 在实时数据管道方面,我觉得两者做的工作是一样的。如何在数据管道上同时使用这两种技术?
我正在使用Flink从Apache Pulsar读取数据。我在pulsar中有一个分区主题,有8个分区。在本主题中,我生成了1000条消息,分布在8个分区中。我的笔记本电脑中有8个内核,因此我有8个子任务(默认情况下,并行度=#个内核)。在执行Eclipse中的代码后,我打开了Flink UI,发现一些子任务没有收到任何记录(空闲)。我希望所有8个子任务都能得到利用(我希望每个子任务都映射到我的主
我有阅读持续增长的问题。txt文件。我知道我可以从网上读到一些东西,比如说 但是如何用文本文件做呢?我应该传递什么而不是netcat?