更新任务列表操作失败，有节奏匹配服务

Question

前几天，我们的节奏设置遇到了一些问题。我们的一个机器实例开始将CPU使用率提高到90%，所有入站工作流执行都停留在“计划”状态。检查日志后，我们注意到匹配的服务抛出了以下错误：

{
  "level": "error",
  "ts": "2021-03-20T14:41:55.130Z",
  "msg": "Operation failed with internal error.",
  "service": "cadence-matching",
  "error": "InternalServiceError{Message: UpdateTaskList operation failed. Error: gocql: no hosts available in the pool}",
  "metric-scope": 34,
  "logging-call-at": "persistenceMetricClients.go:872",
  "stacktrace": "github.com/uber/cadence/common/log/loggerimpl.(*loggerImpl).Error\n\t/cadence/common/log/loggerimpl/logger.go:134\ngithub.com/uber/cadence/common/persistence.(*taskPersistenceClient).updateErrorMetric\n\t/cadence/common/persistence/persistenceMetricClients.go:872\ngithub.com/uber/cadence/common/persistence.(*taskPersistenceClient).UpdateTaskList\n\t/cadence/common/persistence/persistenceMetricClients.go:855\ngithub.com/uber/cadence/service/matching.(*taskListDB).UpdateState\n\t/cadence/service/matching/db.go:103\ngithub.com/uber/cadence/service/matching.(*taskReader).persistAckLevel\n\t/cadence/service/matching/taskReader.go:277\ngithub.com/uber/cadence/service/matching.(*taskReader).getTasksPump\n\t/cadence/service/matching/taskReader.go:156"
}

重启工作流后，一切都恢复正常，但我们仍在努力弄清楚发生了什么。在这个事件发生的那一刻，我们并没有带来任何繁重的工作负载，它只是突然发生的。我们的主要怀疑是，可能匹配服务在这个事件中失去了与cassandra数据库的连接，就在我们重启它后，它能够恢复连接。但这只是目前的一个假设。

这个问题的原因可能是什么？有没有办法防止这种情况在未来发生？也许是一些我们遗漏的动态配置？

PS：踏频版本为0.18.3

Answer 1

这是gocql中的一个已知问题，可能由多种原因引起：

1. 卡桑德拉过载，某些节点没有响应。您可能认为您的负载很小，但最好的查看方法是通过Cadence指标/仪表板。有一节是关于持久性指标的。
2. 如果1.是问题所在，您可以调整速率限制以保护您的卡桑德拉。使用匹配.持久性全球最大 QPS 将充当全局速率限制符来覆盖匹配。
3. 网络问题或 gocql 中的一些错误。这真的很令人沮丧。我们最近决定在此 PR 中进行刷新，希望这将在下一个版本中得到缓解。

此外，如果匹配的节点运行热，则可能已达到单个任务列表的限制。如果是这样，请考虑启用可缩放的任务列表功能。