如何将EMR流式作业日志复制到S3和清除EMR核心节点磁盘上的日志

Question

日安,

null

1. 在创建EMR群集时启用了对S3的日志记录
2. 配置纱线轧制日志时使用：yarn.log-aggregate-enable,yarn.nodemanager.remote-app-log-dir,yarn.log-aggregathtml" target="_blank">ion.retrain-seconds,yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds
3. 在logback.xml中配置滚动日志:

    <appender name="ROLLING" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${log.file}</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
            <fileNamePattern>%d{yyyy-MM-dd HH}.%i.log</fileNamePattern>
            <maxFileSize>30MB</maxFileSize>    
            <maxHistory>3</maxHistory>
            <totalSizeCap>50MB</totalSizeCap>
        </rollingPolicy>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{60} %X{sourceThread} - %msg%n</pattern>
        </encoder>
    </appender>

到目前为止我所得到/观察到的是：

• (1)有助于定期将日志文件复制到S3
• (2)对我来说直到现在都是无用的。日志仅在流作业结束时聚合，没有观察到滚动。
• (3)产生了一些结果，但尚未接近要求：
  • 滚动日志位于某个缓存文件夹(/mnt/yarn/usercache/hadoop/appcache/application_1549236419773_0002/container_1549236419773_0002_01_000002)
  • 通常的纱线日志文件夹(/mnt/var/log/hadoop-yarn/containers/application_1549236419773_0002/container_1549236419773_0002_01_000002)
  中只有最后的滚动日志文件可用
  • 在S3中只有最后一个滚动日志文件可用

  简而言之，在我得到的3个要求中，我只能（1）或(2&3)。

  你能帮我处理一下这个吗？

  感谢并致以最良好的问候,

Answer 1

据我所知，EMR支持的日志到S3的自动备份只在作业结束时起作用，因为它基于AWS最初为批处理作业实现的后台日志加载器。也许有一种方法可以让它对滚动原木起作用，我只是从来没有听说过。

我自己还没试过，但如果必须的话，我可能会试一下下面的方法：

1. 通过s3fs在EC2实例上挂载S3。
2. 设置logrotate（或等效项）以自动复制和清理日志文件。

您可以使用引导操作来自动设置上述所有操作。

如果s3fs给您带来问题，那么您可以多编写一些脚本，直接使用awss3命令来同步日志，然后在复制日志后将其删除。