《pandas》专题
-
使用Pandas将不同行的列表按多列值分组
我有一个这样的数据框： 看起来像这样： 我的目标是对列和中具有相同值的行进行分组，并以如下方式合并列的内容： 如您所见，列和中具有相同项的行将被合并，而如果至少有一行不同，它们将保持原样。我的想法是使用和函数，如下所示： 但是Python返回错误消息： 你能告诉我我的代码有什么问题吗？为了实现我的目标，我应该写些什么？ 注意：我不关心可以丢弃的列会发生什么。
-
Pandas GroupBy.apply方法复制第一个组
我的第一个SO问题：我对pandas（0.12.0-4）中groupby的apply方法的这种行为感到困惑，它似乎对数据帧的第一行应用了两次函数。例如： 我首先检查groupby函数是否正常工作，它似乎很好： 然后，我尝试在Groupby对象上使用应用程序做类似的事情，并两次获得第一行输出： 任何帮助都将不胜感激！谢谢 编辑：@Jeff在下面提供了答案。我很密集，没有立即理解它，所以这里有一个简单
-
使用pandas GroupBy.agg（）对同一列进行多个聚合
是否有一种内置方法可以将两个不同的聚合函数应用于同一列，而无需多次调用？ 示例数据帧： 语法上错误，但直觉上正确的做法是： 显然，Python不允许重复的键。是否有其他方式来表达输入到？也许元组列表会更好地工作，以允许多个函数应用于同一列？但是似乎只接受字典。 除了定义一个只应用其中两个函数的辅助函数之外，还有其他解决方法吗？无论如何，这将如何与聚合工作？）
-
xarray从Pandas写入netCDF-维度问题
学习如何使用xarray从DFs生成netCDF文件。在几个教程和SO问题之后，我向xarray数据集添加了“常量”维度，并向xarray数据集添加了“常量”维度，但仍然存在一些问题，因为我无法将日期、时间、纬度和经度作为维度。当我进行nc转储时，它们是不正确的。 最初的方法是将txt文件导入熊猫df，然后将xr导入netCDF： 其中df2= 这工作正常，但尺寸不正确（见下文）： 如果我将日期或
-
我如何用Pandas从一个数据帧中创建、测试和训练样本？
我有一个相当大的dataframe形式的数据集，我想知道如何将dataframe拆分为两个随机样本（80%和20%）进行训练和测试。 谢谢！
-
只将pandas df的前N行写入csv
如何才能从pandas数据帧中只写入前N行或从P行到Q行到csv而不首先对df进行子化？由于内存问题，我无法对要导出的数据进行子集。 我正在考虑一个函数，它逐行写入csv。 谢谢你
-
Pandas数据帧中异常点的检测与排除
我有一个很少列的熊猫数据帧。 现在我知道某些行是基于某个列值的离群值。 例如： 列“vol”具有附近的所有值，其中一个值为（离群值）。 现在，我想排除那些具有列的行，如下所示。 所以，本质上我需要在数据帧上放一个过滤器，这样我们就可以选择某一列的值在均值的3个标准差范围内的所有行。 什么是一个优雅的方法来实现这一点？
-
Pandas Dataframe键到数组[重复]
我想要dataframe.keys（）方法中的值数组。但它返回一个索引对象,该对象具有header values数组作为成员。但我只想要那个数组，没有其他细节。 输出 索引(['header1','header2','header3','header4','header5','target'],dtype='object') 但我想 [“Header1”,“Header2”,“Header3”,“
-
Pandas列名到列表-更正方法[重复]
我找不到任何关于以下三种获取列名列表的方法中的一种比其他方法更好的资料。第一个也是最简单的，似乎适用于我当前的示例。有什么理由我不应该用它吗？ 更新 此处提供与性能相关的答案:https://stackoverflow.com/A/27236748/605328
-
如何计算pandas中行的apply函数的迭代次数
如果我使用apply将函数循环到pandas数据帧中的每一行，如下所示： 如何计算迭代来跟踪进度
-
替换pandas数据帧中很少出现的值
我有一个中等大的（大约60,000行乘以15列）csv文件，我正在与Pandas一起工作。每一行代表一个人并包含个人数据。我想以匿名方式呈现数据。我想这样做的一种方法是在某个列中替换它们稀少的值。我最初是这样做的： 但每次运行它都冻结了我的系统。不幸的是，这意味着我没有有用的调试数据。有没有人知道这样做的正确方法？该列同时包含字符串和空值。
-
pandas合并操作是否可以使用tqdm？[副本]
我可以找到tqdm进度条用于group by和其他pandas操作的示例。但找不到任何有关合并或加入的信息。 有可能在熊猫上使用tqdm进行合并吗？
-
动态访问pandas dataf rame子集，执行计算并写入新的数据帧
我怎么能那样做？
-
pandas read_sql未读取所有行
我正在通过Pandas的read_sql和外部应用程序（DbVisualizer）运行完全相同的查询。 DbVisualizer返回206行，而pandas返回178行。 我试过根据如何在不耗尽内存的情况下从sql查询中创建大型pandas数据帧？中提供的信息读取pandas by chucks中的数据，它没有做出任何改变。 造成这种情况的原因和补救方法是什么？ 这些栏目包括：日期、年份、工作日、
-
是否有Pandas解决方案--例如：使用numba或Cython--使用索引“转换”/“应用”（多索引数据帧）？
是否有Pandas解决方案（例如：使用numba或Cython）使用索引来/？ 我知道我可以使用、、或。但我想做的应该是微不足道的矢量化…我已经为我的实际用例（可运行代码）构建了一个简单的代理： 可能相关：如何在pandas中查询多索引索引列值