在foreach循环中使用array_combine时占用了PHP内存

Question

在foreach循环中尝试使用array\u combine时遇到问题。它将以一个错误结束：

PHP Fatal error:  Allowed memory size of 268435456 bytes exhausted (tried to allocate 85 bytes) in

这是我的密码：

$data = array();
$csvData = $this->getData($file);
if ($columnNames) {
    $columns = array_shift($csvData);
    foreach ($csvData as $keyIndex => $rowData) {
        $data[$keyIndex] = array_combine($columns, array_values($rowData));
    }
}

return $data;

我使用的源文件CSV大约有1,000,000行。这一排

$csvData = $this->getData($file)

我使用while循环读取CSV并将其分配到一个数组中，它可以正常工作。故障来自array\u combine和foreach循环。

你有什么想法来解决这个问题，或者只是有一个更好的解决方案？

下面是读取CSV文件的代码（使用而循环）

$data = array();
if (!file_exists($file)) {
    throw new Exception('File "' . $file . '" do not exists');
}

$fh = fopen($file, 'r');
while ($rowData = fgetcsv($fh, $this->_lineLength, $this->_delimiter, $this->_enclosure)) {
    $data[] = $rowData;
}
fclose($fh);
return $data;

如果您正在使用CSV文件，上面的代码可以正常工作

Answer 1

实际上，您在内存中保留（或试图保留）整个数据集的两个不同副本。首先，使用getData（）将整个CSV数据加载到内存中，然后通过在内存中的数据上循环并创建一个新数组，将数据复制到$data数组中。

加载CSV数据时，应使用基于流的读取，以便在内存中仅保留一个数据集。如果您使用的是PHP5.5（顺便说一句，您肯定应该这样做），那么将getData方法更改为如下所示即可：

protected function getData($file) {
    if (!file_exists($file)) {
        throw new Exception('File "' . $file . '" do not exists');
    }

    $fh = fopen($file, 'r');
    while ($rowData = fgetcsv($fh, $this->_lineLength, $this->_delimiter, $this->_enclosure)) {
        yield $rowData;
    }
    fclose($fh);
}

这使用了一个所谓的生成器，它是PHP

UPDATE解释现在如何提取列标题。

$data = array();
$csvData = $this->getData($file);
if ($columnNames) { // don't know what this one does exactly
    $columns = null;
    foreach ($csvData as $keyIndex => $rowData) {
        if ($keyIndex === 0) {
            $columns = $rowData;
        } else {
            $data[$keyIndex/* -1 if you need 0-index */] = array_combine(
                $columns, 
                array_values($rowData)
            );
        }
    }
}

return $data;