Apache spark作业日志[重复]

Question

我们有多个Apache Spark作业，为了调试和排除故障，我们需要记录任务执行的一些事件和参数。
在Apache Spark工作代码中进行日志记录的做法是什么？
显而易见的解决方案是：使用Spark的loginfo（和其他方法，但不推荐使用）、一些日志记录框架（如log4s)或简单的println。
在我的Java开发人员背景下，我觉得直接将日志写入控制台是一种不好的做法。我们总是为它使用日志框架。
但是如果我们为spark作业选择println logging，我们就可以简单地将日志收集到文件中，例如从启动的shell脚本重定向到文件。此外，我们可以在spark管理控制台中看到输出。

所以我不知道我们使用Log4S获得的利润。您能分享一下在spark Job中使用println进行日志记录的利弊吗？

Answer 1

Spark使用log4j作为自己日志记录的标准库。Spark内部发生的一切都会记录到shell控制台和配置的底层存储中。Spark还为应用程序编写者提供了一个模板，因此我们可以使用samelog4j库向Spark中现有的日志实现添加我们想要的任何消息。

请看一下这个。

对于使用或不使用println进行登录，根据我个人的经验，我会说不，请参考这个链接。