MySQL：按块检索较大的选择

Question

我选择了更多

7000万行

我想将所选数据保存到win2012 R2上的一个大型csv文件中

问：如何通过改进从MySQL检索数据以获得更好的性能？

因为当我尝试保存一个大选择时，我得到了

内存不足错误

Answer 1

您可以尝试使用该LIMIT功能。如果您这样做：

SELECT * FROM MyTable ORDER BY whatever LIMIT 0,1000

您将获得前1,000行。第一个LIMIT值（0）定义结果集中的起始行。它的索引为零，因此0表示“第一行”。第二个LIMIT值是要检索的最大行数。要获得接下来的几套1,000，请执行以下操作：

SELECT * FROM MyTable ORDER BY whatever LIMIT 1000,1000 -- rows 1,001 - 2,000
SELECT * FROM MyTable ORDER BY whatever LIMIT 2000,1000 -- rows 2,001 - 3,000

等等。当SELECT没有返回任何行时，您就完成了。

但是，仅凭这还不够，因为在您一次处理1K行时对表所做的任何更改都将使订单无效。要及时冻结结果，请先将结果查询到临时表中：

CREATE TEMPORARY TABLE MyChunkedResult AS (
  SELECT *
  FROM MyTable
  ORDER BY whatever
);

附带说明：最好事先确保临时表不存在：

DROP TEMPORARY TABLE IF EXISTS MyChunkedResult;

无论如何，一旦临时表就位，从那里拉出行块：

SELECT * FROM MyChunkedResult LIMIT 0, 1000;
SELECT * FROM MyChunkedResult LIMIT 1000,1000;
SELECT * FROM MyChunkedResult LIMIT 2000,1000;
.. and so on.

我将留给您创建逻辑，该逻辑将在每个块之后计算极限值并检查结果的结尾。我还建议使用比1000条记录大得多的数据块；这只是我空想的数字。

最后，这是在完成后删除临时表的好形式：

DROP TEMPORARY TABLE MyChunkedResult;