从包含非常大数值的字典创建数据帧时发生溢出错误

Question

直接将表放入数据帧时出现错误“OverflowerError:long int太大，无法转换”。这似乎是由于表中包含了大量的数字，但尝试使用时没有错误https://www.pythonanywhere.com/try-ipython/.我添加了一个变通方法，将值转换为float，然后创建了数据帧。

import pandas as pd
table = [{'two': 2, 'one': 1}, {'two': 22, 'one': 11}, 
    {'two': 222, 'one': 1111111111111111111111111111111111111111111111111111111111111111111111}]

# workaround for overflow error
for x, i in enumerate(table):
    table[x]['one']=float(table[x]['one'])

df = pd.DataFrame(table)

有更好的方法吗？其他人指出，他们没有得到任何溢出错误。这是Python2.7

Answer 1

默认情况下，pandas尝试读取和理解数据，并将其转换为适当的数据类型。在您的例子中，它试图将数据加载到np中。浮动64对象。但是，您的数据显然太大了。

一种解决方法是在创建数据帧时指定dtype=object。

df = pd.DataFrame(table, dtype='object')    
df
                                                 one  two
0                                                  1    2
1                                                 11   22
2  1111111111111111111111111111111111111111111111...  222 

请注意，这样做会降低速度和效率的所有可能性，因为objects的处理速度非常慢。我想你已经准备好了，处理这种性质的数据。