在mysql中使用java将大量记录从一个表移动到另一个表

Question

我试图通过将不需要的记录移动到墓地表中，在数据库中进行一些垃圾收集。如果我有这四张桌子-

1. 版本（id为主键）
2. Version_history（version_id是外键）
3. Version_graveyard（此处已丢弃版本行）
4. Version_history_graveyard（此处为废弃版本历史记录行）

它包括以下步骤-

• 获取要删除的所有版本ID
• 通知所有人要删除的版本ID。（所以我需要在实际移动之前从版本表中获取行-这是一个非常复杂的select查询）
• 将Select from original Version表格插入Version\U graveyard表格。（这基本上会重复我在上一步中执行的Select查询）
• 再次将Select from original Version\U history表格插入Version\U graveyard\U history表格。（这将再次重复我已经使用的select查询）
• 从原始表中删除数据（再次使用相同的select查询）

因此，正如您所看到的，这将需要重复多次选择查询。我想从第一个查询中获取所有版本，然后对所有后续查询使用NamedParameterJdbcTemboard批处理更新函数和In子句，例如-

Insert into Version_Graveyard Select * from Version where id in (?, ?, ..... ?);

Delete from Version Where id in (?, ?, .. ?)

但问题是要删除的版本数可能有数千个（第一次运行时约为20K），根据文档，IN子句中的值不能超过1000。

那么，还有什么其他方法可以避免对多个步骤重复相同的select查询呢。

Answer 1

您可以将多个IN子句与OR组合起来。

 SELECT * FROM VERSION WHERE ID IN (...) OR ID IN (...) OR ID IN (...)

Answer 2

可以在Version和Version_history表中添加一个特殊字段（标志），指示下次应将记录移动到墓地表。例如exportToGraveard。

下一步是执行更新操作，而不是选择设置字段的操作。所有其他查询现在都可以访问应通过标志移动的所有记录。

对于性能优化，也可以在字段上添加INDEX。但是请注意使用INDEX，UPDATE语句应该更慢。