有效地计算文本文件的行数。（200mb +）

Question

我刚刚发现我的脚本给了我一个致命错误：

Fatal error: Allowed memory size of 268435456 bytes exhausted (tried to allocate 440 bytes) in C:\process_txt.php on line 109

那行是这样的：

$lines = count(file($path)) - 1;

因此，我认为将文件加载到内存中并计算行数有困难，是否有更有效的方法可以在没有内存问题的情况下执行此操作？

我需要计算行数从2MB到500MB的文本文件。有时候也许是演出。

谢谢大家的帮助。

Answer 1

这将使用较少的内存，因为它不会将整个文件加载到内存中：

$file="largefile.txt";
$linecount = 0;
$handle = fopen($file, "r");
while(!feof($handle)){
  $line = fgets($handle);
  $linecount++;
}

fclose($handle);

echo $linecount;

fgets将一行加载到内存中（如果$length省略第二个参数，它将继续从流中读取数据，直到到达行尾为止，这就是我们想要的）。如果您关心墙壁时间和内存使用情况，这仍然不太可能像使用PHP之外的其他工具一样快。

唯一的危险是，如果任何行特别长（如果遇到2GB的文件而没有换行怎么办？）。在这种情况下，最好将其分成几大块，然后计算行尾字符：

$file="largefile.txt";
$linecount = 0;
$handle = fopen($file, "r");
while(!feof($handle)){
  $line = fgets($handle, 4096);
  $linecount = $linecount + substr_count($line, PHP_EOL);
}

fclose($handle);

echo $linecount;