从列表中提取列表，然后追加到数据框
我试图从包含列表的json中提取一个字段，然后将该列表附加到数据帧中，但遇到了一些不同的错误。
我想我可以将其写入csv，然后用Pandas读取csv，但我尽量避免写入任何文件。我知道我也可以使用StringIO生成csv，但这存在空字节问题。替换这些将是（我认为）另一个逐行的步骤，这将进一步延长脚本完成所需的时间。。。我正在对一个返回成千上万个结果的查询运行此操作，因此保持它的快速和简单是一个优先事项
首先我试了这个：
hit_json = json.loads(hit)
for ln in hit_json.get('hits').get('hits'):
df = df.append(ln['_source'], ignore_index=True)
print(df)
这给了我一个看起来像这样的结果：
1 2 3 4
a b d,e,f... x
然后我试了一下：
df = df.append(ln['_source']['payload'], ignore_index=True)
但这给了我一个错误：
TypeError: cannot concatenate object of type "<class 'str'>"; only pd.Series,
pd.DataFrame, and pd.Panel (deprecated) objs are valid
我要找的是这样的东西：
0 1 2 3 4
d e f g h
在这上面...我需要找到一种方法来处理这个列表中包含逗号的特定字符串...这可能是一个头痛的问题，最好在不同的问题中处理...类似于：
# Obviously this is incorrect but I think you get the idea :)
str.replace(',', '^')
except if ',' followed by ' '
非常感谢任何帮助！
编辑以根据请求添加JSON
{
"_index": "sanitized",
"_type": "sanitized",
"_id": "sanitized".,
"_score": sanitized,
"_source": {
"sanitized": sanitized,
"sanitized": "1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,\"34,35\",36,37,38,39,40",
"sanitized": "sanitized",
"sanitized": ["sanitized"],
"sanitized": "sanitized",
"sanitized": "sanitized",
"sanitized": "sanitized",
"sanitized": "sanitized",
}
}]
}
}
共有2个答案
你可以试试下面这些
hit_json = json.loads(hit)
for ln in hit_json.get('hits').get('hits'):
data = ln['_source']["payload"].split(",")
df.loc[len(df)] = pd.Series(data, index=range(len(data)))
print(df)
loc的好处是，您不会每次都创建新的数据帧，因此速度很快。你可以在这里找到这个职位。
我还想提出一个更快的替代方案。首先创建一个包含所有数据的字典，然后将字典转储到数据帧中。
您可以使用StringIO编写一个临时文件，就像这里所做的那样。
那么第二部分你可以做什么
if ',' in data and ', ' not in data:
data = data.replace(',', '^')
-
问题内容： 我正在编写一个包含10个存储桶列表的简单哈希表。使用内置函数计算索引，然后对表大小取模。但是，当我尝试将对象附加到该索引的存储桶列表时，它会附加到每个存储桶列表。我尝试用不同的方式定义add_HT，但我一直得到相同的结果。我究竟做错了什么？ 问题答案： 使指向 同一列表 的指针数量增加。这里不是问题。您需要定义为。
-
我的清单如下： 我需要将上面列表中的数据添加到下面的列表中，其中第0行应该有值test1和test2。第1行应该有test3和test4
-
我试图做的是从列“in_reply_to_user_id”（不在图片中，因为df太宽，无法容纳）与给定id具有相同值的行中获取文本，并将文本附加到列表中，然后将其放入新列中。例如，所有tweet中的“in_reply_to_user_id”列等于第一条tweet的“id”的文本都应该放在一个列表中，然后添加到数据框中名为“reples”的新列中。以下是我尝试过的一些事情：
-
很容易将列表列表转换为数据帧： 但是我如何将df转换回列表列表呢？
-
问题内容： 我有一些像这样的数据框： A中值 的 可能范围仅为0到7 。 另外，我有一个8个元素的列表，如下所示： 如果A列中的元素是 n ，我需要将List中的第 n 个元素插入新列，例如’D’。 如何一口气做到这一点而又不遍历整个数据框？ 产生的数据框如下所示： 注意：数据框很大，迭代是最后一个选项。但是如果需要的话，我也可以将其他数据结构（如dict）排列在“ List”中的元素上。 问题答
-
我有一个for循环，它遍历CSV中的每一行，我创建了一个包含列表的字典，但是列表被重写了，因为字典键被重复了几次。我如何总结或追加到列表中的第二（1）位置相同的键的下一个值下一个循环迭代？ 因为使用append时，如果再次找到现有键，则会覆盖该值，因此该键的值会被一次又一次地覆盖。 CSV中的字段包括： 输出应该是这样的：