如何在Spark中压缩“代码生成”和“清除累加器”消息
我写了一份火花工作。这项工作进展顺利，没有任何问题。然而，当我查看我的错误日志文件时，我看到了许多类型为
[error] 18/11/25 17:28:14 INFO CodeGenerator: Code
generated in 16.947005 ms
[error] 18/11/25 17:28:15 INFO ContextCleaner: Cleaned
accumulator 239819
[error] 18/11/25 17:28:06 INFO BlockManagerInfo: Removed
broadcast_13354_piece0 on 192.168.2.101:43753 in memory
(size: 20.5 KB, free: 6.2 GB)
不确定为什么spark会将这些报告为错误。当它们看起来像某种调试消息时。
共有1个答案
在创建sparkcontext的对象时，使用以下代码根据需求设置日志级别：
sparkContext.setLogLevel("WARN")
上面一行将spark的日志级别设置为warn，您将无法获得任何info或debug级别日志。
-
一个与主题压缩有关的问题。在压缩主题中，当日志清理器在清理特定键的以前偏移量（3,4,5）时出现延迟（假设5是最新的偏移量），而作为使用者使用这些偏移量时，即使3和4还没有压缩，我会只看到该键的最新偏移量（5）吗？还是使用者将按照该顺序获得（3,4,5）？
-
本文向大家介绍Java生成压缩文件的实例代码，包括了Java生成压缩文件的实例代码的使用技巧和注意事项，需要的朋友参考一下 在工作过程中，需要将一个文件夹生成压缩文件，然后提供给用户下载。所以自己写了一个压缩文件的工具类。该工具类支持单个文件和文件夹压缩。放代码： 运行程序结果如下： 压缩之前的文件目录结构： 提示：如果是使用java.util下的java.util.zip进行打包处理，可
-
当我向Kafka主题发送消息时，我可能会收到一条比其他消息大得多的消息。 因此需要在单消息级进行压缩。根据https://cwiki.apache.org/confluence/display/kafka/compression, 一组消息可以被压缩并表示为一个压缩消息。 同样,根据https://github.com/apache/kafka/blob/0.10.1/clients/src/ma
-
我写了一个火花作业。工作进行得很好，没有任何问题。然而，当我查看错误日志文件时，我看到了很多类型的消息
-
问题内容： JSON.stringify显然不是非常节省空间。例如，当[123456789,123456789]可能需要大约5个字节时，它将占用20+字节。websocket是否在发送到流之前压缩其JSON？ 问题答案： 从本质上讲，WebSocket只是用于TEXT或BINARY数据的一组框架。 它本身不执行压缩。 但是，WebSocket规范允许扩展，并且野外有各种各样的压缩扩展（其中一项的正
-
问题内容： 我有一个熊猫数据框。我尝试将包含字符串值的两列首先连接到列表中，然后使用zip，我将列表的每个元素都用’_’连接。我的数据集如下： 我想将这两列连接到第三列，如下所示，分别用于数据框的每一行。 我已经使用下面的代码在python中成功完成了此操作，但该数据框非常大，并且需要花费很长时间才能为整个数据框运行它。我想在PySpark中做同样的事情以提高效率。我已经成功读取了spark数据框