谷歌云函数Python日志问题

Question

我不知道该怎么说，但我觉得谷歌在我不知情的情况下改变了一些东西。我过去常常从日志仪表板中Google Cloud Console中的python Cloud Functions获取日志。现在，它刚刚停止工作。

所以我去调查了很长时间，我只是做了一个日志 hello world python Cloud Function：

import logging

def cf_endpoint(req):
    logging.debug('log debug')
    logging.info('log info')
    logging.warning('log warning')
    logging.error('log error')
    logging.critical('log critical')
    return 'ok'

因此，这是我 main.py，我将其部署为具有http触发器的云函数。

因为我有一个包含所有“调试”级别日志的日志摄取排除过滤器，所以我在日志仪表板中看不到任何东西。但是当我把它拿掉的时候，我发现了这个:

因此，似乎将python内置日志记录解析为stackdriver的东西停止了对日志严重性参数的解析！如果我看起来很愚蠢，我很抱歉，但这是我唯一能想到的事情：/

你们对此有什么解释或解决办法吗？我做错了吗？

提前感谢您的帮助。

2022/01更新：

例如，现在的输出如下所示:

[INFO]: Connecting to DB ... 

严重性的下拉菜单如下所示:

使用“Default”作为显示Python日志记录所需的过滤器，这意味着只显示任何可用的日志，并且所有Python日志都在“Default”下，严重性仍然会下降。

Answer 1

不想处理云日志库，我创建了一个自定义格式化程序，它按照云日志的预期，使用正确的字段发出结构化日志。

class CloudLoggingFormatter(logging.Formatter):
    """Produces messages compatible with google cloud logging"""
    def format(self, record: logging.LogRecord) -> str:
        s = super().format(record)
        return json.dumps(
            {
                "message": s,
                "severity": record.levelname,
                "timestamp": {"seconds": int(record.created), "nanos": 0},
            }
        )

将此处理程序附加到记录器会导致对日志进行解析并在日志记录控制台中正确显示日志。在云函数中，我会将根记录器配置为发送到stdout并将格式化程序附加到它。

# setup logging
root = logging.getLogger()
handler = logging.StreamHandler(sys.stdout)
formatter = CloudLoggingFormatter(fmt="[%(name)s] %(message)s")
handler.setFormatter(formatter)
root.addHandler(handler)
root.setLevel(logging.DEBUG)

Answer 2

我遇到了同样的问题。

在@joan Grau分享的链接中，我还看到了一种将云记录器与Python日志记录模块集成的方法，这样您就可以像往常一样使用Python根记录器，所有日志都会发送到StackDriver Logging。

https://googleapis.github.io/google-cloud-python/latest/logging/usage.html#integration-使用python日志模块

...

我试过了，很有效。简而言之，你可以用两种方法来做

将云记录器绑定到根日志的一种简单方法

from google.cloud import logging as cloudlogging
import logging
lg_client = cloudlogging.Client()
lg_client.setup_logging(log_level=logging.INFO) # to attach the handler to the root Python logger, so that for example a plain logging.warn call would be sent to Stackdriver Logging, as well as any other loggers created.

或者，您可以设置具有更细粒度控件的记录器

from google.cloud import logging as cloudlogging
import logging
lg_client = cloudlogging.Client()

lg_handler = lg_client.get_default_handler()
cloud_logger = logging.getLogger("cloudLogger")
cloud_logger.setLevel(logging.INFO)
cloud_logger.addHandler(lg_handler)
cloud_logger.info("test out logger carrying normal news")
cloud_logger.error("test out logger carrying bad news")

Answer 3

使用Python本机日志记录模块时，不再支持StackDrive日志记录严重性过滤器。

但是，您仍然可以通过使用Stackdr日志记录客户端库创建具有一定严重性的日志。参考Python库检查此留档，并检查此留档以获取一些用例示例。

请注意，为了让日志位于正确的资源下，您必须手动配置它们，请参阅此列表以了解支持的资源类型。此外，每个资源类型都有一些需要存在于日志结构中的必需标签。

例如，以下代码将在Stackdriver日志记录中向云函数资源写入日志，并出现错误严重性：

from google.cloud import logging
from google.cloud.logging.resource import Resource

log_client = logging.Client()

# This is the resource type of the log
log_name = 'cloudfunctions.googleapis.com%2Fcloud-functions' 

# Inside the resource, nest the required labels specific to the resource type
res = Resource(type="cloud_function", 
               labels={
                   "function_name": "YOUR-CLOUD-FUNCTION-NAME", 
                   "region": "YOUR-FUNCTION-LOCATION"
               },
              )
logger = log_client.logger(log_name.format("YOUR-PROJECT-ID"))
logger.log_struct(
 {"message": "message string to log"}, resource=res, severity='ERROR')

return 'Wrote logs to {}.'.format(logger.name) # Return cloud function response

请注意，“您的云函数名称”、“您的函数位置”和“您的项目 ID”中的字符串需要特定于您的项目/资源。