Flink日志不能在群集模式下工作
最近，我在使用logback.xml作为日志记录时，在独立集群模式下的Flink日志记录中遇到了一个问题。我的要求是，我的所有作业都应该登录到特定的文件夹中，我的flink框架日志应该放在单独的文件夹中，而且对于在我的flink集群中运行的每个作业，应该有单独的文件夹用于不同的作业。我在我的本地集群中测试了它，它运行良好，我得到了所有的日志，与我提交的Flink作业相关的单独文件夹，但一旦我在独立集群中部署了代码，并为每个作业分别部署了logback.xml，它就完全不记录了。我还提到了以下几点。链接的查询，但我仍然与问题卡住。
Flink日志限制：如何将日志配置传递给Flink作业
共有1个答案
你能指定你的日志文件所在的位置吗？根据flink文档，它应该通过设置环境属性-dlogback.configurationfile=
或者通过将logback.xml放入类路径来显式指定-通常，我会覆盖flink/conf目录中的属性。
-
我有一个storm拓扑，分为两个节点。一个是光环，另一个是主管。 不属于storm的代理接受来自客户端的HTTP请求，并将其传递给storm拓扑。 拓扑是这样的：1.代理将数据传递给一个Storm喷口2.喷口将数据传递给多个螺栓3.结果由最后一个螺栓传回代理。 我正在运行代理并将数据传递给storm。我能够在拓扑端将套接字连接到侦听器。喷口发出的数据在UI中显示为0。同样的拓扑在本地模式下也可以正
-
我尝试将spark应用程序驱动程序/执行程序日志发送到kafka topic。它在Eclipse中工作 在部署群集模式时，它会显示 ClassNotFoundException。 我添加了，，，，和maven，但它仍然显示 组织。阿普切。Kafka。log4jappender类NotFoundException。 在服务器中，运行jar自身的spark程序中并没有与Kafka相关的jar。 请告诉
-
Redis streams是否受益于群集模式？假设您有10个流，它们是分布在集群中还是全部分布在同一个节点上？我计划使用Redis streams实现真正的高吞吐量（每秒200万条消息），因此我担心Redis streams在这种规模下的性能。 如果Redis streams不能在集群模式下进行开箱即用的扩展，那么任何关于水平扩展Redis streams的指导都会非常棒。
-
当我启动flink独立集群时，它会将守护程序日志记录在conf/log4j中提到的文件中。属性文件，当我在该集群中提交flink作业时，它使用相同的属性文件记录应用程序日志，并在TaskManager上写入相同的日志文件。我想为在flink独立集群中提交的每个应用程序提供单独的日志文件。有没有办法做到这一点
-
如何确定spark独立群集模式上的工作线程数？在独立群集模式下添加工作线程时，持续时间将缩短。 例如，对于我的输入数据3.5 G，WordCount需要3.8分钟。但是，在我添加了一个内存为4 G的工作器后，需要2.6分钟。 增加调谐火花的工人可以吗？我正在考虑这方面的风险。 我的环境设置如下：， 内存128克，16个CPU，用于9个虚拟机 输入数据信息 HDFS中的3.5 G数据文件