多线程：多个线程与同一个表交互

Question

面试问题

比如说，我们有一个在Employee表中有200万条记录的表，我们需要削减每个员工10%的工资（需要做一些处理），然后将其保存回collection。你怎样才能有效地做到这一点。

我问他，我们可以使用executor框架来创建多个线程，这些线程可以从表中获取值，然后我们可以处理并将其保存到列表中。

然后他问我，你将如何检查一个记录是否已经被处理，我不知道（如何做）。

甚至我也不确定我是否擅长自己的方法。

请帮忙。

Answer 1

我将加载该表，然后为状态添加一列。默认情况下，您可以将该列设置为“未处理”。一旦线程开始处理该员工，它将把状态更改为“正在处理”，然后当完成时，它最终将其切换为“已处理”。

有3个这样的状态也允许您将其用作锁，以防止处理发生两次。

Answer 2

如上所述，给出问题的最佳方法是使用纯SQL，类似于：

update employees set
salary = salary * .9

很难想象需要对SQL无法处理的员工数据做些什么。

如果由于一些糟糕的设计，你真的需要对员工类型数据做一些SQL绝对不能做的事情，那么你会打开一个游标到行集并迭代它，同步更新，这样你就只对数据做一次传递。

在伪代码中：

cursor = forUpdate ("select for update * from employees")
while (cursor.next()) {
    cursor.salary = cursor.salary * .9
}

这是最简单、最快的执行方法。

—-

它只有2M行，这是一个“小”数量，所以大多数数据库可以在一个事务中处理它

如果使用代码方法，大多数数据库都允许您在保持光标打开的同时进行提交，所以只需每隔大约10K行提交一次即可。

与日志记录类似。在事务期间，此类查询中的所有行都被锁定。考虑到跑步需要很长时间，选择一个安静的时间跑步。如果这真的是一件大事，那就把它拼凑起来，但要意识到锁定是不可避免的。

Answer 3

您可以做的一件事是使用生产者/消费者类型模型，在这个模型中，您让一个线程工作来给其他线程提供要更新的记录。这样您就不必担心重复处理了。