如何在Spark中压制“Code Generated”和“Cleaned Accumulator”消息
我写了一个火花作业。工作进行得很好，没有任何问题。然而，当我查看错误日志文件时，我看到了很多类型的消息
[error] 18/11/25 17:28:14 INFO CodeGenerator: Code
generated in 16.947005 ms
[error] 18/11/25 17:28:15 INFO ContextCleaner: Cleaned
accumulator 239819
[error] 18/11/25 17:28:06 INFO BlockManagerInfo: Removed
broadcast_13354_piece0 on 192.168.2.101:43753 in memory
(size: 20.5 KB, free: 6.2 GB)
共有1个答案
在创建sparkcontext的对象时，请使用以下代码根据需求设置日志级别：
sparkContext.setLogLevel("WARN")
上面的行将spark的日志级别设置为warn，您将不会获得任何info或debug级别的日志。
-
我写了一份火花工作。这项工作进展顺利，没有任何问题。然而，当我查看我的错误日志文件时，我看到了许多类型为 不确定为什么spark会将这些报告为错误。当它们看起来像某种调试消息时。
-
问题内容： JSON.stringify显然不是非常节省空间。例如，当[123456789,123456789]可能需要大约5个字节时，它将占用20+字节。websocket是否在发送到流之前压缩其JSON？ 问题答案： 从本质上讲，WebSocket只是用于TEXT或BINARY数据的一组框架。 它本身不执行压缩。 但是，WebSocket规范允许扩展，并且野外有各种各样的压缩扩展（其中一项的正
-
当我向Kafka主题发送消息时，我可能会收到一条比其他消息大得多的消息。 因此需要在单消息级进行压缩。根据https://cwiki.apache.org/confluence/display/kafka/compression, 一组消息可以被压缩并表示为一个压缩消息。 同样,根据https://github.com/apache/kafka/blob/0.10.1/clients/src/ma
-
问题内容： 我有一个熊猫数据框。我尝试将包含字符串值的两列首先连接到列表中，然后使用zip，我将列表的每个元素都用’_’连接。我的数据集如下： 我想将这两列连接到第三列，如下所示，分别用于数据框的每一行。 我已经使用下面的代码在python中成功完成了此操作，但该数据框非常大，并且需要花费很长时间才能为整个数据框运行它。我想在PySpark中做同样的事情以提高效率。我已经成功读取了spark数据框
-
我想停止在spark Shell上出现的各种消息。 为了停止这些消息，我尝试编辑文件。
-
我对Java和log4j2很陌生，所以很抱歉提出这个可能很奇怪的问题。我的问题如下。我编写了一个使用log4j2进行日志记录的应用程序。程序分析数据并在给定字符串无法按需要解析的情况下写入警告。有时程序会收到许多意外的字符串，因此它会一直记录相同的错误消息。所以，问题是，如何避免重复记录相同的错误消息。例如，为了在日志文件中看到2000次相同的错误消息，我希望在日志文件中有一个提示，这个错误消息被