如何摆脱“使用Spark的默认log4j配置文件：org/apache/Spark/log4j defaults.properties”消息？
我正试图压制这个信息
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
当我运行我的Spark应用程序时。我已成功重定向信息消息，但此消息仍会继续显示。任何想法都将不胜感激。
共有3个答案
如果你把一个log4j。文件也会发生这种情况。在这种情况下，从main/resources和test/resources下的属性test/resources中删除该文件并仅使用main/resources中的文件可以修复该问题。
好吧，我想出了一个办法。所以基本上，我有自己的log4j。xml最初是被使用的，因此我们看到了这个属性。一旦我有了自己的“log4j.properties”文件，这个消息就消失了。
更简单的是，您只需cdSPARK_HOME/conf然后mvlog4j.properties.templatelog4j.properties然后打开log4j.properties并将所有INFO更改为ERROR。这里SPARK_HOME是您的火花安装的根目录。
一些人可能使用hdfs作为他们的Spark storage后端，并且会发现日志消息实际上是由hdfs生成的。要更改此设置，请转到HADOOP\u HOME/etc/HADOOP/log4j。属性文件。只需更改hadoop。根logger=INFO，控制台到hadoop。根记录器=错误，控制台。再一次，HADOOP\u HOME是我安装HADOOP的根目录，这是/usr/local/HADOOP。
-
我一直试图用Spark2.0配置Apache Zeppeling。我设法将它们都安装在linux操作系统上，并将spark设置在8080端口上，而zeppelin服务器设置在8082端口号上。 在zeppelin的zeppelin-env.sh文件中，我将SPARK_HOME变量设置为Spark文件夹的位置。 然而，当我试图创建一个新节点时，没有正确的编译。我似乎没有配置解释器，因为开始选项卡中缺
-
我在运行spark配置时面临内存问题，我已经将设置更改为最大内存，但它仍然不能工作。请查看以下问题：命令- 错误-错误集群。YarnScheduler：Ampanacdddbp01.au.amp.local上丢失的遗嘱执行人9：123643 ms后Executor heartbeat超时警告调度器。TaskSetManager：在阶段0.0中丢失任务19.0（TID 19，ampanacdddbp
-
我是spring boot的新手，我正在通过ControllerAdvisor向控制器添加自定义异常。在MyController.class中，我正在执行三个操作 null 下面的类是特定于未找到的异常的。 在application.properties中，我添加了以下三个条件 当我使用GET API http://localhost:8080/ticke访问我的服务器时，它应该抛出bad req
-
dockerized应用程序结构为： 我得到以下错误： log4j:忽略配置文件[file://log4j.properties]时出错。log4j:错误无法从URL[file://log4j.properties]读取配置文件。
-
我有一个Spark应用程序，我正试图将其打包为fat jar并使用部署到本地集群。我正在使用Typesafe config为各种部署环境-、和创建配置文件，并尝试提交我的JAR。 我正在运行的命令如下： 我通过一个接一个地添加选项，以增量方式构建了该命令。使用，日志提示文件正在上载到Spark，但当我添加时，提交失败，找不到文件。 代码：
-
我的代码和配置如下。当我将spark作业提交到集群时，它适用于本地主机模式，但不适用于集群。 有人能帮我吗？ 谢谢。