熊猫msgpack vs泡菜
Pandas中的msgpack应该是pickle的替代品。
根据Pandas在MsgPack上的文档：
这是一种轻量级的可移植二进制格式，类似于二进制JSON，具有高度的空间效率，在写入（序列化）和读取（反序列化）方面都提供了良好的性能。
然而，我发现它的性能似乎无法与泡菜相提并论。
df = pd.DataFrame(np.random.randn(10000, 100))
>>> %timeit df.to_pickle('test.p')
10 loops, best of 3: 22.4 ms per loop
>>> %timeit df.to_msgpack('test.msg')
10 loops, best of 3: 36.4 ms per loop
>>> %timeit pd.read_pickle('test.p')
100 loops, best of 3: 10.5 ms per loop
>>> %timeit pd.read_msgpack('test.msg')
10 loops, best of 3: 24.6 ms per loop
问题：除了pickle潜在的安全问题之外，msgpack比pickle有什么好处？pickle仍然是序列化数据的首选方法，还是目前存在更好的替代方法？
共有1个答案
- 数值数据或任何使用缓冲区协议（numpy数组）的数据（但仅当您使用最近的
协议=) - 类、函数等Python特定对象。（不过在这里您应该查看
cloudpickle)
- 跨语言互操作。它是JSON的替代方案，但有一些改进
- 文本数据和Python对象的性能。这是一个相当快的因素比泡菜在这在任何情况下。
正如@jeff上面提到的，这篇博客文章可能很有趣
-
我试图读取熊猫泡菜时出错，例如方法，该方法存储在谷歌云存储中。我正在努力做到以下几点： 我得到以下错误： 或者我试着： 它可以在本地工作，但不能在CloudML上工作！ 给我一个错误：AttributeError:'bytes'对象没有属性'seek'
-
问题内容： Python 3.4和Pandas 0.15.0 df是一个数据框，而col1是一列。使用下面的代码，我正在检查是否存在值10，并将此类值替换为1000。 这是另一个例子。这次，我将基于索引更改col2中的值。 这两种都会产生以下警告： 最后， 这会产生类似的警告，并带有以下建议： 我不确定我是否理解警告中指出的讨论。编写这三行代码的更好方法是什么？ 请注意，该操作有效。 问题答案：
-
问题内容： 我想将 大于任意数（在这种情况下为100）的值替换为（因为如此大的值表示实验失败）。以前，我使用它来替换不需要的值： 但是，出现以下错误： 从这个StackExchange问题来看，有时似乎可以忽略此警告，但是我不能很好地跟踪讨论，无法确定这是否适用于我的情况。警告基本上是让我知道我将覆盖我的某些值吗？ 编辑：据我所知，一切都按其应有的方式进行。作为后续措施，我的替换值方法是否非标
-
我有一个数据帧，如： 所以我想通过两个“for循环”添加一些列，如： 新的类似数据帧的图片： 我的代码不起作用： 如何编写代码来获得像第二张图片这样的数据帧？
-
问题内容： 我刚刚发现了json_normalize函数，该函数在获取JSON对象并给我一个熊猫Dataframe时效果很好。现在，我想要反向操作，该操作采用相同的Dataframe并给我一个与原始json具有相同结构的json（或类似json的字典，我可以轻松地将其转换为json）。 这是一个示例：https : //hackersandslackers.com/json-into-pandas
-
问题内容： 在下面，male_trips是一个大熊猫数据帧，station是一个小熊猫数据帧。对于每个车站ID，我想知道有多少次男性旅行。以下工作可以完成，但是需要很长时间： 我应该怎么做呢？ 更新！因此，有两种主要方法：其次是和更简单的方法。我很快完成了，这种方法大获全胜！这是代码： 结果如下： 请注意，以这种速度，用于探索数据 键入 value_counts的速度稍微快一些，而且记不起来了！