具有多个表插入的多线程

Question

我正在开发基于spring+Hibernate的web应用程序。在这个应用程序中，我必须对数据库中的50000个可用记录进行计算。当前逻辑：-

1. 循环0到50000（所有50000记录彼此独立）
2. 选择第i个元素
3. 对第i个元素执行计算（删除CALCULATION_TEMP表（如果存在），创建新表CALCULATION_TEMP并在CALCULATION_TEMP表中插入计算）
4. 在步骤3表上进行一些计算并得到结果
5. 将步骤4的结果放入结果表

目前，这些计算都需要大约38个小时来完成单线程。

现在我们想通过多线程来运行这个系统。为了测试的目的，我取了50张唱片。

使用单线程大约需要30秒。

使用两个线程：-

• 由第一个线程执行的一半记录和由第二个线程执行的其余记录。
• 现在我为两个线程使用两个临时表。(TEMP1和TEMP2)
• 需要225秒

粗略代码：-

for (int i = 0; i < recordsSize; i++) {
    final int j = i;
    String recordId = list.get(i);

    // Method call : Code for creating CALCULATION_TEMP table
    // CALCULATION_TEMP table will contain dynamic number of column. It is depends on the record data (50 to 70 columns)
    // return flag value
    boolean flag = xyzMethod(....);

    if (flag) {

        // All calculation done in this method 
        // Around 600 - 700 rows will be created into CALCULATION_TEMP table on the basis of calculation logic
        Object fileMapColumnData[] = /* Method call */;

        // Insert result for one record into RESULT table for unique recordId (this result is calculated in CALCULATION_TEMP table)  
        insertIntoResultTable(....);

        // Drop CALCULATION_TEMP table
    } else {
        LOGGER.error("Unable to calculate ... because of some wrong data");
        loggerDTO.getCustomLogger().severe("Unable to calculate ... because of some wrong data");
    }
    if (i % 100 == 0) {
        calculationDao.flushAndClear();
    }

    // Thread for showing process completion status in percentage
    Thread t = new Thread() {
        @Override
        public void run() {
            getPercentageDone((float) recordsSize, (float) (j + 1));
        }
    };
    t.start();
} 

请建议，我如何提高性能。

Answer 1

对于性能改进没有硬性规定。如果您有约束和业务决策，我们需要知道计算，如何管理线程，如何管理连接，以及涉及的循环数等等。有很多事情需要考虑。从检查痛点区域、为此花费的时间开始，并首先改进每种方法。

Answer 2

创建/删除临时表需要花费50000倍的大量时间。没有临时表能做计算吗？可以提高工作效率。