Pandas 如何保存较大文件。‘ValueError: This sheet is too large! Your sheet size is: 16388602, 3 Max sheet size

背景

今天在从数据库拉了一大批数据出来后，发现因为数据量太大，如果直接用pandas的to_excel或者to_csv去保存，会报以下错误:

data.to_csv('xxxx.csv')

ValueError: This sheet is too large! Your sheet size is: 16388602, 3 Max sheet size is: 1048576, 16384

解决方法

方法其实很简单，使用to_csv模块是将文件的后缀名改为.txt并改用特殊分隔符例如\t即可。代码如下：

data.to_csv('xxxx.txt',sep='\t')

读取的时候使用 pandas 对应的read_csv模块即可，代码如下：

data = pd.read_csv('xxxx.txt',sep='\t')