如何导入。将txt数据转换为数据帧？

Question

我正在尝试从位于的文件导入数据https://drive.google.com/file/d/1leOUk4Z5xp9tTiFLpxgk_7KBv3xwn5eW/view进入数据帧。我试过使用

    data = pd.read_csv('data_engineering_assignment.txt',sep="|")

但是我得到一个错误说"ParserError：错误标记化数据。C错误：期望在行231中有9个字段，看到10"我不想使用'error_bad_lines=False'并跳过数据行。

请帮忙。

Answer 1

您可以指定列名称，说明有10个：

import pandas as pd

cols = ['_id','name','price','website_id','sku','url','brand','media','description_text','other']
dataframe = pd.read_csv('./data_engineering_assignment.txt', names=cols, sep='|' )
dataframe['description_text'] = dataframe['description_text'].map(str) + dataframe['other']
dataframe.to_csv('./data_engineering_assignment_v2.txt', index=False, sep=',')

由于pandas必须猜测列数据类型，因此会收到内存使用警告，但这没有问题

Answer 2

您的数据集中有一个问题，问题是有时，我在描述文本中发现：例如，对于这个id5d0c7c4c312ff75188d84954，您在| X设计的中有，因此熊猫将第二部分视为一个新列（这就是为什么您会看到这样的消息：预期有9个字段，但看到了10个我希望这将有助于您理解问题。