检索并在表中插入百万条记录

Question

有一列我想检索并插入到另一个表中例如，下面是我想检索值的第一个表

我使用MSSQL2008

Answer 1

如果您需要在代码中（而不是在SQL中这样做，即使有多个分隔符也会更容易），您可能希望使用具有适当批处理大小的批插入，并在选择时使用良好的提取大小：

    //Prepare statements first
    try(PreparedStatement select = con.prepareStatement("SELECT * FROM SOURCE_TABLE");
            PreparedStatement insert = con.prepareStatement("INSERT INTO TARGET_TABLE(col1, col2, col3) VALUES (?,?,?)")) {

        //Define Parameters for SELECT
        select.setFetchDirection(ResultSet.FETCH_FORWARD);
        select.setFetchSize(10000);

        int rowCnt = 0;

        try(ResultSet rs = select.executeQuery()) {
            while(rs.next()) {
                String row = rs.getString(1);
                String[] split = row.split(" |\\$|\\*"); //However you want to do that
                //Todo: Error handling for array length

                //Todo: Type-Conversions, if target data is not a string type
                insert.setString(1, split[0]);
                insert.setString(2, split[1]);
                insert.setString(3, split[2]);
                insert.addBatch();

                //Submit insert in batches of a good size:
                if(++rowCnt % 10000 == 0) {
                    int[] success = insert.executeBatch();
                    //Todo: Check if that worked.
                }
            }
            //Handle remaining inserts
            int[] success = insert.executeBatch();
            //Todo: Check if that worked.               
        }

    } catch(SQLException e) {
        //Handle your Exceptions
    }

在计算“好的”提取和批处理大小时，您需要考虑一些参数：

>

FetchSize会影响客户端的内存消耗。如果你有足够的，你可以把它做大。

提交数百万行的插入需要一些时间。根据您的需求，您可能希望每隔一段时间提交一次insert事务（每250.000次insert？）

考虑一下您的事务隔离：确保关闭自动提交，因为提交每个插入都会使大部分批处理收益消失。