为什么在C ++中从stdin读取行比Python慢​​得多？

Question

我想比较使用Python和C ++从stdin读取的字符串输入的行数，并且震惊地看到我的C ++代码比等效的Python代码慢一个数量级。由于我的C ++生锈，并且我还不是专家Pythonista，所以请告诉我我做错了什么还是误解了什么。

（TLDR答案：包括以下声明：cin.sync_with_stdio(false)或仅使用fgets代替。

TLDR结果：一直滚动到我的问题的底部，然后查看表格。）

C ++代码：

#include <iostream>
#include <time.h>

using namespace std;

int main() {
    string input_line;
    long line_count = 0;
    time_t start = time(NULL);
    int sec;
    int lps;

    while (cin) {
        getline(cin, input_line);
        if (!cin.eof())
            line_count++;
    };

    sec = (int) time(NULL) - start;
    cerr << "Read " << line_count << " lines in " << sec << " seconds.";
    if (sec > 0) {
        lps = line_count / sec;
        cerr << " LPS: " << lps << endl;
    } else
        cerr << endl;
    return 0;
}

// Compiled with:
// g++ -O3 -o readline_test_cpp foo.cpp

等同于Python：

#!/usr/bin/env python
import time
import sys

count = 0
start = time.time()

for line in  sys.stdin:
    count += 1

delta_sec = int(time.time() - start_time)
if delta_sec >= 0:
    lines_per_sec = int(round(count/delta_sec))
    print("Read {0} lines in {1} seconds. LPS: {2}".format(count, delta_sec,
       lines_per_sec))

这是我的结果：

$ cat test_lines | ./readline_test_cpp
Read 5570000 lines in 9 seconds. LPS: 618889

$cat test_lines | ./readline_test.py
Read 5570000 lines in 1 seconds. LPS: 5570000

我应该注意，我在Mac OS X v10.6.8（Snow Leopard）和Linux 2.6.32（Red Hat Linux 6.2）下都尝试过。前者是MacBook Pro，后者是非常强大的服务器，并不是说这太相关了。

$ for i in {1..5}; do echo "Test run $i at `date`"; echo -n "CPP:"; cat test_lines | ./readline_test_cpp ; echo -n "Python:"; cat test_lines | ./readline_test.py ; done
Test run 1 at Mon Feb 20 21:29:28 EST 2012
CPP:   Read 5570001 lines in 9 seconds. LPS: 618889
Python:Read 5570000 lines in 1 seconds. LPS: 5570000
Test run 2 at Mon Feb 20 21:29:39 EST 2012
CPP:   Read 5570001 lines in 9 seconds. LPS: 618889
Python:Read 5570000 lines in 1 seconds. LPS: 5570000
Test run 3 at Mon Feb 20 21:29:50 EST 2012
CPP:   Read 5570001 lines in 9 seconds. LPS: 618889
Python:Read 5570000 lines in 1 seconds. LPS: 5570000
Test run 4 at Mon Feb 20 21:30:01 EST 2012
CPP:   Read 5570001 lines in 9 seconds. LPS: 618889
Python:Read 5570000 lines in 1 seconds. LPS: 5570000
Test run 5 at Mon Feb 20 21:30:11 EST 2012
CPP:   Read 5570001 lines in 10 seconds. LPS: 557000
Python:Read 5570000 lines in  1 seconds. LPS: 5570000

微小的基准附录和总结

为了完整起见，我认为我将使用原始（已同步）C ++代码更新同一框上同一文件的读取速度。同样，这是针对快速磁盘上的100M行文件。这是比较，有几种解决方案/方法：

Implementation      Lines per second
python (default)           3,571,428
cin (default/naive)          819,672
cin (no sync)             12,500,000
fgets                     14,285,714
wc (not fair comparison)  54,644,808

Answer 1

默认情况下，cin与stdio同步，这将使其避免任何输入缓冲。如果将其添加到主目录的顶部，应该会看到更好的性能：

std::ios_base::sync_with_stdio(false);

通常，当缓冲输入流时，而不是一次读取一个字符，而是以较大的块读取该流。这减少了通常较为昂贵的系统调用次数。但是，由于FILE*基于stdio和iostreams通常具有单独的实现，因此也具有单独的缓冲区，如果将两者一起使用，可能会导致问题。例如：

int myvalue1;
cin >> myvalue1;
int myvalue2;
scanf("%d",&myvalue2);

如果读取的输入cin多于实际需要的输入，则该函数将无法使用第二个整数值，该scanf函数具有自己的独立缓冲区。这将导致意外的结果。

为避免这种情况，默认情况下，流与同步stdio。实现此目的的一种常用方法是cin使用stdio功能一次读取每个字符。不幸的是，这带来了很多开销。对于少量输入而言，这不是一个大问题，但是当您读取数百万行时，性能损失将是巨大的。

幸运的是，库设计人员决定，如果您知道自己在做什么，则还应该能够禁用此功能以提高性能，因此他们提供了该sync_with_stdio方法。