如何根据日期列将一个巨大的mysql表转储到不同的text/csv文件中？

Question

col_1 col_2 date_col
a     b      20-12-2021 
a     b      20-12-2021 
a2    b2     21-12-2021
..    ..     ...

因此row1和row2将转到名为20_12_2021.CSV的CSV，row3将转到21_12_2021.CSV。我现在正在做的是使用Python获取结果，然后逐行循环，然后确定结果的位置，但这需要大量的时间。

有没有更好更优化的方法来做到这一点？

Answer 1

我喜欢这种解决方案，您可以使用df.groupby和date_col列，这将使用映射器或在默认情况下表示行的轴0上的一系列列对DataFrame进行分组。

for name, g in df.groupby('date_col'):
    g.to_csv(f'{name}.csv', index=False)

Result:

$ cat 20-12-2021.csv  <-- CSV file created

col_1,col_2,date_col
a,b,20-12-2021
a,b,20-12-2021

$ cat 21-12-2021.csv   <-- CSV file created

col_1,col_2,date_col
a2,b2,21-12-2021

或

df.groupby('date_col').apply(lambda x: x.to_csv('{}.csv'.format(x.name), index=False))

注意：如果你对MYSQL有一百万行的效率感到好奇，那么这里有一个很好的答案，Pandas现在内置了@ThePhysicist对分块加载的支持。