如何在一个可伸缩、高并发、容错的系统中逐一处理来自同一客户端的多个API调用

Question

我们有web服务API来支持在千万台设备上运行的客户端。通常客户机一天调用服务器一次。也就是说每秒可以看到116个客户机。对于每个客户端（每个客户端具有唯一的ID)，它可能并发地进行几个API调用。然而，Server只能逐个处理来自同一客户端的API调用。因为，那些API调用将更新后端Mongodb数据库中该客户端的相同文档。例如：需要更新本客户端文档中的last seen time和其他嵌入文档。

我有的一个解决方案是将同步块放在一个“Intern”对象上，表示这个客户机的唯一ID。这将允许来自同一客户机的一个请求同时获得锁并被处理。此外，还可以同时处理来自其他客户端的请求。但是，这种解决方案需要打开负载均衡器的“粘性”。这意味着负载均衡器将在预设的时间间隔内（如15分钟）将所有请求从同一ip地址路由到特定的服务器。我不确定这是否对整个系统设计的健壮性有任何影响。我能想到的一件事是，有些客户端可能会发出更多请求，并使负载不平衡（创建热点）。

Interner<Key> myIdInterner = Interners.newWeakInterner();

public ResponseType1 processApi1(String clientUniqueId, RequestType1 request) {
    synchronized(myIdInterner.intern(new Key(clientUniqueId))) {
        // code to process request
    }
}

public ResponseType2 processApi2(String clientUniqueId, RequestType2 request) {
    synchronized(myIdInterner.intern(new Key(clientUniqueId))) {
        // code to process request
    }
}

public ResponseType1 processApi1(String clientUniqueId, RequestType1 request) {
    try {
        obtainDocumentLock(new Key(clientUniqueId));
        // code to process request
    } finally {
        releaseDocumentLock(new Key(clientUniqueId));       
    }   
}

public ResponseType2 processApi2(String clientUniqueId, RequestType2 request) {
    try {
        obtainDocumentLock(new Key(clientUniqueId));
        // code to process request
    } finally {
        releaseDocumentLock(new Key(clientUniqueId));       
    }   
}

例如，有两个请求：请求#1和请求#2。请求#1读取客户端的文档，更新一个子文档#5的一个字段，并将整个文档保存回来。请求#2读取同一文档，更新子文档#8的一个字段，并将整个文档保存回来。这时我们将得到一个OptimisticLockingFailureException，因为我们使用了来自spring-data-mongodb的@version注释来检测版本冲突。因此，必须在任何时候只处理来自同一客户端的一个请求。

附注。对于选择解决方案#1（打开负载均衡器粘性的单个进程/实例上的锁）或解决方案#2（分布式锁）来进行可伸缩性和高并发性系统设计的任何建议。目标是支持数千万个客户机，每秒同时有数百个客户机访问系统。

Answer 1

在您的解决方案中，您正在根据客户id进行锁拆分，以便两个客户可以同时处理服务。唯一的问题是粘性会话。一种解决方案可以是使用分布式锁，这样您就可以将任何请求分派到任何服务器，并且服务器获得锁进程。只有一个考虑是它涉及远程调用。我们正在使用Hazelcast/Ignite，它在平均节点数上工作得很好。榛子