熊猫数据框存储列表为字符串：如何转换回列表

Question

我有一个n-by-m熊猫DataFramedf定义如下。（我知道这不是最好的方法。这对我在实际代码中尝试做的事情是有意义的，但这将是这篇文章的TMI，所以请相信我的话，这种方法在我的特定场景中是有效的。）

>>> df = DataFrame(columns=['col1'])
>>> df.append(Series([None]), ignore_index=True)
>>> df
Empty DataFrame
Columns: [col1]
Index: []

我将列表存储在此DataFrame的单元格中，如下所示。

>>> df['column1'][0] = [1.23, 2.34]
>>> df
     col1
0  [1, 2]

出于某种原因，DataFrame将此列表存储为字符串而不是列表。

>>> df['column1'][0]
'[1.23, 2.34]'

我有两个问题要问你。

1. 为什么DataFrame将列表存储为字符串，是否有办法绕过此行为？
2. 如果没有，那么有没有Pythonic的方法将这个字符串转换成列表？

使现代化

我使用的DataFrame已从CSV格式保存和加载。这种格式，而不是DataFrame本身，将列表从字符串转换为文本。

Answer 1

>

使用ast.literal_eval安全地计算包含Python文字或容器数据类型的字符串。

• 它是标准库的一部分

  使用python的eval（）与ast.literal_eval（）相比？解释为什么literal\u eval比使用eval更安全。

  null
  • 请参阅熊猫-将字符串转换为处理此表示的字符串列表。

  col1
  "[1.23, 2.34]"
  "['KB4523205','KB4519569','KB4503308']"
  

  from ast import literal_eval
  import pandas as pd
  
  # convert the column during import
  df = pd.read_csv('test.csv', converters={'col1': literal_eval})
  
  # display(df)
                                  col1
  0                       [1.23, 2.34]
  1  [KB4523205, KB4519569, KB4503308]
  
  # check type
  print(type(df.iloc[0, 0]))
  list
  
  print(type(df.iloc[1, 0]))
  list
  

  df.col1 = df.col1.apply(literal_eval)
  

  • pd.eval比literal\u eval慢28倍

  

Answer 2

你可以直接使用熊猫-

import pandas as pd
df = pd.read_csv(DF_NAME, converters={'COLUMN_NAME': pd.eval})

这将在python中读取该列作为它对应的dtype，而不是字符串。

更新：

正如@ctwardy在评论中正确指出的那样。明智的做法是使用pd.eval而不是eval来避免意外的正则表达式相关后果。详情-https://realpython.com/python-eval-function/#minimizing-eval的安全问题

Answer 3

正如您指出的，当将熊猫数据帧保存和加载为文本格式的. csv文件时，通常会发生这种情况。

在你的例子中，发生这种情况是因为列表对象有一个字符串表示，允许它们存储为. csv文件。加载. csv将产生该字符串表示。

如果要存储实际对象，应使用DataFrame.to\u pickle（）（注意：对象必须可拾取！）。

要回答第二个问题，可以使用ast.literal\u eval将其转换回：

>>> from ast import literal_eval
>>> literal_eval('[1.23, 2.34]')
[1.23, 2.34]