Rust Tokio-监视停顿的任务

Question

我在Prod运行一个rust Tokio应用程序。在上一个版本中，我有一个bug，一些请求导致我的代码进入无限循环。

发生的情况是，当进入无限循环的任务被卡住时，所有其他任务都继续正常工作并处理请求，直到延迟任务的数量足够高，导致我的程序没有响应。

我的问题是我们的监控系统花了很多时间来识别出哪里出了问题。例如：回答kubernetes健康检查的任务运行良好，但我无法识别系统中的任务是否已停滞。

所以我的问题是，在这种情况下，我是否有办法识别和提醒？

例如：如果我能找到定义任务超时的方法，并且如果它在X秒/毫秒后没有返回到调度器--该任务将标记为stalled，这对我来说将是一个很好的解决方案。

Answer 1

使用跟踪可能是这里的一个选项：遵循问题2655，每个tokio任务都应该有一个span。除了跟踪-未来，这意味着您应该在每次输入或挂起任务时获得跟踪事件（请参见此示例），通过添加相关数据（例如，task id/request id/...)，您应该能够将这些信息提供给分析工具，以便了解：

• 任务被阻止（已恢复，然后再也没有挂起）
• 如果添加自己的跨，则“userland”跨从未退出/关闭，这可能意味着它被困在非阻塞循环中（这也是一个问题，尽管不那么严重）

我想这就是它的范围：正如问题2510所指出的，tokio还没有使用它生成的跟踪信息，因此没有提供“内置”的内省设施。