Pandas加载CSV的速度比SQL快

Question

从CSV加载数据似乎比从Pandas的SQL（Postgre SQL）加载数据要快。（我有一个固态硬盘）

这是我的测试代码：

import pandas as pd
import numpy as np

start = time.time()
df = pd.read_csv('foo.csv')
df *= 3
duration = time.time() - start
print('{0}s'.format(duration))

engine = create_engine('postgresql://user:password@host:port/schema')
start = time.time()
df = pd.read_sql_query("select * from mytable", engine)
df *= 3
duration = time.time() - start
print('{0}s'.format(duration))

foo.csv和数据库是相同的（两个列中的数据和列数相同，4列，100000行充满随机int）。

CSV需要0.05秒

SQL花费0.5秒

您认为CSV比SQL快10倍是正常的吗？我想知道我是否在这里错过了什么…

Answer 1

这是正常现象，读取csv文件始终是简单加载数据的最快方法之一

CSV非常幼稚且简单。直接从中加载将非常快。对于具有复杂结构的海量数据库，不能选择CSV。SQL从表中选择数据并将数据返回给您的速度非常快。自然，如果您可以选择，修改和处理数据，则将增加通话的间接费用。

想象一下，您有一个从1920年到2017年的csv中的时间序列，而您只想要从2010年到今天的数据。

csv方法 是加载整个csv，然后选择2010年到2017年。

SQL方法 是通过SQL选择功能预选年份

在这种情况下，SQL将更快。