为什么在C++中从stdin读取行比Python慢得多?

2022-09-05 00:49:06

我想使用Python和C++比较从stdin读取字符串输入行,并且震惊地看到我的C++代码比等效的Python代码慢一个数量级。由于我的C++生锈了,我还不是Pythonista专家,请告诉我我是否做错了什么,或者我是否误解了什么。


(TLDR 答案:包括语句:或直接使用。cin.sync_with_stdio(false)fgets

TLDR 结果:一直向下滚动到我的问题底部,然后查看表格。


C++代码:

#include <iostream>
#include <time.h>

using namespace std;

int main() {
    string input_line;
    long line_count = 0;
    time_t start = time(NULL);
    int sec;
    int lps;

    while (cin) {
        getline(cin, input_line);
        if (!cin.eof())
            line_count++;
    };

    sec = (int) time(NULL) - start;
    cerr << "Read " << line_count << " lines in " << sec << " seconds.";
    if (sec > 0) {
        lps = line_count / sec;
        cerr << " LPS: " << lps << endl;
    } else
        cerr << endl;
    return 0;
}

// Compiled with:
// g++ -O3 -o readline_test_cpp foo.cpp

Python Equivalent:

#!/usr/bin/env python
import time
import sys

count = 0
start = time.time()

for line in  sys.stdin:
    count += 1

delta_sec = int(time.time() - start_time)
if delta_sec >= 0:
    lines_per_sec = int(round(count/delta_sec))
    print("Read {0} lines in {1} seconds. LPS: {2}".format(count, delta_sec,
       lines_per_sec))

这是我的结果:

$ cat test_lines | ./readline_test_cpp
Read 5570000 lines in 9 seconds. LPS: 618889

$ cat test_lines | ./readline_test.py
Read 5570000 lines in 1 seconds. LPS: 5570000

我应该注意的是,我在Mac OS X v10.6.8(Snow Leopard)和Linux 2.6.32(Red Hat Linux 6.2)下都尝试过。前者是MacBook Pro,后者是一个非常强大的服务器,并不是说这太中肯了。

$ for i in {1..5}; do echo "Test run $i at `date`"; echo -n "CPP:"; cat test_lines | ./readline_test_cpp ; echo -n "Python:"; cat test_lines | ./readline_test.py ; done
Test run 1 at Mon Feb 20 21:29:28 EST 2012
CPP:   Read 5570001 lines in 9 seconds. LPS: 618889
Python:Read 5570000 lines in 1 seconds. LPS: 5570000
Test run 2 at Mon Feb 20 21:29:39 EST 2012
CPP:   Read 5570001 lines in 9 seconds. LPS: 618889
Python:Read 5570000 lines in 1 seconds. LPS: 5570000
Test run 3 at Mon Feb 20 21:29:50 EST 2012
CPP:   Read 5570001 lines in 9 seconds. LPS: 618889
Python:Read 5570000 lines in 1 seconds. LPS: 5570000
Test run 4 at Mon Feb 20 21:30:01 EST 2012
CPP:   Read 5570001 lines in 9 seconds. LPS: 618889
Python:Read 5570000 lines in 1 seconds. LPS: 5570000
Test run 5 at Mon Feb 20 21:30:11 EST 2012
CPP:   Read 5570001 lines in 10 seconds. LPS: 557000
Python:Read 5570000 lines in  1 seconds. LPS: 5570000

微小的基准附录和回顾

为了完整起见,我想我会用原始(同步)C++代码更新同一框中同一文件的读取速度。同样,这适用于快速磁盘上的100M行文件。以下是比较,有几种解决方案/方法:

实现 每秒行数
python (default) 3,571,428
cin (default/naive) 819,672
cin (无同步) 12,500,000
fgets 14,285,714
wc(不公平的比较) 54,644,808

答案 1

tl;dr:由于C++中的默认设置不同,因此需要更多的系统调用。

默认情况下,与 stdio 同步,这使其避免任何输入缓冲。如果将其添加到主数据库的顶部,则应该会看到更好的性能:cin

std::ios_base::sync_with_stdio(false);

通常,当对输入流进行缓冲时,流将以较大的块读取,而不是一次读取一个字符。这减少了系统调用的数量,而系统调用通常相对昂贵。但是,由于基于和通常具有单独的实现,因此具有单独的缓冲区,因此如果两者一起使用,这可能会导致问题。例如:FILE*stdioiostreams

int myvalue1;
cin >> myvalue1;
int myvalue2;
scanf("%d",&myvalue2);

如果读取的输入多于实际需要的输入,则第二个整数值将不可用于函数,该函数具有自己的独立缓冲区。这将导致意外的结果。cinscanf

为避免这种情况,默认情况与 同步。实现此目的的一种常见方法是使用函数根据需要一次读取每个字符。不幸的是,这会带来很多开销。对于少量输入,这不是一个大问题,但是当您读取数百万行时,性能损失是显着的。stdiocinstdio

幸运的是,库设计人员决定,如果您知道自己在做什么,您还应该能够禁用此功能以提高性能,因此他们提供了sync_with_stdio方法。从此链接(着重号是后加的):

如果关闭同步,则允许C++标准流独立缓冲其 I/O,这在某些情况下可能会快得多


答案 2

只是出于好奇,我看了一下引擎盖下发生的事情,并在每次测试中使用了dtruss/strace

C++

./a.out < in
Saw 6512403 lines in 8 seconds.  Crunch speed: 814050

系统调用sudo dtruss -c ./a.out < in

CALL                                        COUNT
__mac_syscall                                   1
<snip>
open                                            6
pread                                           8
mprotect                                       17
mmap                                           22
stat64                                         30
read_nocancel                               25958

./a.py < in
Read 6512402 lines in 1 seconds. LPS: 6512402

系统调用sudo dtruss -c ./a.py < in

CALL                                        COUNT
__mac_syscall                                   1
<snip>
open                                            5
pread                                           8
mprotect                                       17
mmap                                           21
stat64                                         29