jupyter上熊猫to_csvread_csv字符串数组中的引文

Question

这篇文章是熊猫输出引用问题to_csv后续。

比方说，我用文本数据创建了一个数据帧。此文本数据存储为字符串列表：

In [1]: import pandas as pd

In [2]: text = ['this', 'is', '"out text"']
   ...: df_pre = pd.DataFrame(index=['1'], columns=['one','two'])
   ...: df_pre.loc['1','one'] = 123
   ...: df_pre.loc['1','two'] = text

检查预读数据帧的列：

In [3]: df_pre
Out[3]: 
   one                     two
1  123  [this, is, "out text"]

In [4]: df_pre.two.iloc[0]
Out[4]: ['this', 'is', '"out text"']

这正是我想要的：df。two是字符串列表，字符串元素中的引号将被保留。

但当我将df作为csv写入并读取时：

In [5]: df_pre.to_csv('foo.txt', index=False)
In [5]: df_post = pd.read_csv('foo.txt')

我看到df.two有不同的表示方式，所以现在在读取后的数据帧中有额外的引文：

In [6]: df_post
Out[6]: 
   one                           two
0  123  ['this', 'is', '"out text"']

在这里：

In [7]: df_post.two.iloc[0]
Out[7]: '[\'this\', \'is\', \'"out text"\']'

问题是，如果我想遍历df中的每个字符串元素。每行有两个列，我必须处理包装每个元素的附加引号。所以，如果我想用post数据帧计算“这”发生的次数，我会得到0。

我的问题是:

1. 为什么会发生这种情况
2. 我怎样才能防止它发生

我已经尝试了所有级别的引用（即[0,3]），但没有任何效果。我的目标是处理多行文本数据（标记化、词干分析等），并将工作保存为csv格式以供以后操作。

作为后续行动，我希望帖子看起来像pre：

预报价（无附加报价）：

In [8]: df_pre
Out[8]: 
   one                     two
1  123  [this, is, "out text"]

邮寄（附附加报价）：

In [9]: df_post
Out[9]: 
   one                           two
0  123  ['this', 'is', '"out text"']

解决方案

df_post.two = df_post.two.apply(eval)

Answer 1

CSV需要能够以一种可以重新加载的方式存储数据，以便它能够转义有意义的字符（特别是逗号，它是默认的列分隔符，单引号，否则将终止字符串）。

要将其从转义格式转换回，可以使用eval：

input = '[\'this\', \'is\', \'"out text"\']'
output = eval(input)

该操作也可以在数据帧的整个列上执行。