当前位置: 首页 > 编程笔记 >

Docker容器中运行flume及启动不输出运行日志问题

金英华
2023-03-14
本文向大家介绍Docker容器中运行flume及启动不输出运行日志问题,包括了Docker容器中运行flume及启动不输出运行日志问题的使用技巧和注意事项,需要的朋友参考一下

flume配置文件如下:

# Name the components on this agent 
app1.sources = r1 
app1.sinks = k1 
app1.channels = c1 
# Describe/configure the source 
app1.sources.r1.type = avro 
app1.sources.r1.bind = 0.0.0.0 
app1.sources.r1.port = 44444 
# Describe the sink 
#a1.sinks.k1.type = logger 
app1.sinks.k1.type = file_roll 
app1.sinks.k1.sink.directory = /var/log/my/app1 
app1.sinks.k1.sink.rollInterval=86400 
app1.sinks.k1.sink.batchSize=100 
app1.sinks.k1.sink.serializer=text 
app1.sinks.k1.sink.serializer.appendNewline = false 
# Use a channel which buffers events in memory 
app1.channels.c1.type = memory 
app1.channels.c1.capacity = 1000 
app1.channels.c1.transactionCapacity = 100 
app1.channels.c1.byteCapacity = 100000000 
app1.channels.c1.byteCapacityBufferPercentage = 10 
# Bind the source and sink to the channel 
app1.sources.r1.channels = c1 
app1.sinks.k1.channel = c1 
# Name the components on this agent 
app2.sources = r2 
app2.sinks = k2 
app2.channels = c2 
# Describe/configure the source 
app2.sources.r2.type = avro 
app2.sources.r2.bind = 0.0.0.0 
app2.sources.r2.port = 44445 
# Describe the sink 
#a1.sinks.k1.type = logger 
app2.sinks.k2.type = file_roll 
app2.sinks.k2.sink.directory = /var/log/my/app2 
app2.sinks.k2.sink.rollInterval=86400 
app2.sinks.k2.sink.batchSize=100 
app2.sinks.k2.sink.serializer=text 
app2.sinks.k2.sink.serializer.appendNewline = false 
# Use a channel which buffers events in memory 
app2.channels.c2.type = memory 
app2.channels.c2.capacity = 1000 
app2.channels.c2.transactionCapacity = 100 
app2.channels.c2.byteCapacity = 100000000 
app2.channels.c2.byteCapacityBufferPercentage = 10 
# Bind the source and sink to the channel 
app2.sources.r2.channels = c2 
app2.sinks.k2.channel = c2 

dockerfile如下:

FROM ubuntu:16.04 
MAINTAINER XXX "XXX@XXXXX.com" 
RUN apt-get update 
ADD jdk-8u77-linux-x64.tar.gz /usr/local/java 
RUN cp /etc/profile /etc/profile.bak 
ENV JAVA_HOME /usr/local/java/jdk1.8.0_77 
ENV PATH $JAVA_HOME/bin:$PATH 
ENV CLASSPATH .:$JAVA_HOME/lib 
ADD apache-flume-1.7.0-bin.tar.gz /usr/local/flume 
RUN apt-get install -y tzdata 
RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 
RUN echo "Asia/Shanghai" > /etc/timezone 
RUN dpkg-reconfigure -f noninteractive tzdata 
ENV LANG C.UTF-8 
WORKDIR /var/log 
RUN mkdir my 
WORKDIR /var/log/my 
RUN mkdir app1 
RUN mkdir app2 
EXPOSE 44444 
EXPOSE 44445 
ENTRYPOINT (/usr/local/flume/apache-flume-1.7.0-bin/bin/flume-ng agent --conf /usr/local/flume/apache-flume-1.7.0-bin/conf -conf-file /usr/local/flume/apache-flume-1.7.0-bin/conf/flume-conf.properties --name app1 &) && (/usr/local/flume/apache-flume-1.7.0-bin/bin/flume-ng agent --conf /usr/local/flume/apache-flume-1.7.0-bin/conf -conf-file /usr/local/flume/apache-flume-1.7.0-bin/conf/flume-conf.properties --name app2 &) && /bin/bash 

下面看下flume 启动不输出运行日志

问题

以前碰到的一个问题,算是一个小问题,flume 用命令

./flume-ng agent -c /opt/apps/flume/conf -f /opt/apps/flume/conf/syslog_tcp.conf -n a1 -Dflume.root.logger=INFO,console

启动的时候,flume使用的log4j不起效,不会输出日志到日志文件。

解决

在启动时去掉

-Dflume.root.logger=INFO,console

这个命令就好了。flume的log4j就正常工作了。也算是一个坑。

加上这个命令会将运行的日志在控制台输出。

总结

以上所述是小编给大家介绍的 Docker容器中运行flume及启动不输出运行日志问题,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对小牛知识库网站的支持!

 类似资料:
  • 问题内容: 我准备了一个docker-compose文件来部署带有数据库的容器: 没关系。但是现在我需要创建一个数据库并建立其结构。我需要执行一些sql命令。为了检查我是否能够做到这一点,我将其添加到服务中: 但是我遇到以下错误: 我感觉命令是在Sql Server实例启动之前执行的。我该如何解决?Sql Server启动后如何执行一些sql? 问题答案: 问题是在容器中仅执行一个命令。当您在其中

  • 本文向大家介绍Docker容器中运行nginx,包括了Docker容器中运行nginx的使用技巧和注意事项,需要的朋友参考一下 nginx简介 Nginx是一款面向性能设计的HTTP服务器,相较于Apache、lighttpd具有占有内存少,稳定性高等优势。与旧版本(<=2.2)的Apache不同,nginx不采用每客户机一线程的设计模型,而是充分使用异步逻辑,削减了上下文调度开销,所以并发服务能

  • Kibana 的 Docker 镜像可以从 Elastic 官网上的 Docker 镜像仓库获取。该镜像是随 X-Pack 一起打包的。 注意:X-Pack 在这个 image 中是预装好的。安装了 X-Pack,Kibana 会去连接同样带有 X-Pack 的 Elasticsearch 集群。 获取镜像 向 Elastic Docker 仓库发送一条 docker pull 命令就可以获取 K

  • 问题内容: 在容器内运行服务时,假设使用mongodb命令 将立即退出,并返回容器ID。在我的CI脚本中,我在运行mongo容器之后立即运行客户端以测试mongodb连接。问题是:由于服务尚未启动,客户端无法连接。除了在脚本中添加大字体外,我看不到任何等待容器启动并运行的选项。 Docker的命令在这种情况下不起作用,因为该容器不存在。是docker的限制吗? 问题答案: 如在docker 1.1

  • 我有一个服务,我正在通过Rancher通过Docker-Compose提出。我遇到的问题是需要在容器部署后设置密码。

  • 我有以下Dockerfile: 以及以下docker-compose.yml: 如果我通过docker cmd以以下方式手动运行Dockerfile: 看起来一切正常,我得到了它实际执行的应用程序输出日志: 但是,当我试图通过docker-comment以以下方式执行我的应用程序时: 我的应用程序似乎启动正常,但无法继续执行。以下是输出: 我尝试执行show logs命令: 但我得到的唯一记录是第