增加水槽MaxHeap
下午好，我在增加Flume的堆大小时遇到了麻烦。结果，我得到：
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
我增加了“flume-env.sh”和Hadoop/Yarn中定义的堆。运气不好。
有一点要注意，在启动水槽时，Exec（进程构建器？）似乎将堆定义为20Mb。关于如何覆盖它有什么想法吗？
Info: Including Hadoop libraries found via (/usr/local/hadoop/bin/hadoop) for HDFS access
Info: Including Hive libraries found via () for Hive access
+ exec /usr/lib/jvm/java-9-openjdk-amd64/bin/java -Xmx20m -cp 'conf:/usr/local/flume/lib/* :
........
最终，我尝试将Heapsize设置为1512MB。
共有1个答案
增加“flume_env.sh”中的堆应该有效。您也可以尝试执行您的 Flume 代理，如下所示：
flume-ng agent -n myagent -Xmx512m
Flume 能够从命令行读取 -D 和 -X 选项。
-
https://cwiki.apache.org/confluence/display/FLUME/Getting 开始的页面说 HDFS sink 支持追加，但我无法找到有关如何启用它的任何信息，每个示例都在滚动文件上。因此，如果可能的话，我将不胜感激有关如何将水槽附加到现有文件的任何信息） 使现代化 可以将所有滚动属性设置为0，这将使flume写入单个文件，但它不会关闭文件，新记录对其他进程不
-
我正在尝试将日志从单台机器上的不同目录收集到本地文件系统文件或 HDFS。 我已经注册了 2 个来源 r1、r2。两个源都指向单通道C1。有一个接收器连接到通道。K1 请找到下面的配置文件: 但是当我使用代理 a1 启动 Flume 时，只有一个源 （r2） 正在启动。水槽代理启动日志： 谢谢
-
我正在尝试使用hdfs水槽运行水槽。hdfs在不同的机器上正常运行，我甚至可以与水槽机器上的hdfs交互，但是当我运行水槽并向其发送事件时，我收到以下错误： 同样，一致性不是问题，因为我可以使用hadoop命令行与hdfs交互（水槽机不是datanode）。最奇怪的是，在杀死水槽后，我可以看到tmp文件是在hdfs中创建的，但它是空的（扩展名仍然是. tmp）。 关于为什么会发生这种情况的任何想法
-
我遇到了Flume的问题（Cloudera CDH 5.3上的1.5）： 我想做的是:每5分钟，大约20个文件被推送到假脱机目录(从远程存储中抓取)。每个文件包含多行，每行是一个日志(在JSON中)。文件大小在10KB到1MB之间。 当我启动代理时，所有文件都被成功推送到HDFS。1分钟后（这是我在flume.conf中设置的），文件被滚动（删除. tmp后缀并关闭）。 但是，当在假脱机目录中找到
-
我想使用 flume 将数据从 hdfs 目录传输到 hdfs 中的目录，在此传输中，我想应用处理形态线。 例如：我的来源是 我的水槽是 有水槽可能吗？ 如果是，源水槽的类型是什么？
-
我有一个要求，我想运行以假脱机目录作为源的 Flume 代理。将假脱机目录中的所有文件复制到 HDFS（sink） 后，我希望代理停止，因为我知道所有文件都被推送到通道。我还想每次为不同的假脱机目录运行此步骤，并在目录中的所有文件都标记为 .完成。有没有办法停止水槽剂？