比较数据帧并返回第一个数据帧中缺少的行
我有两个数据帧，希望比较它们并返回第一个数据帧（df1）中不在第二个数据帧（df2）中的行。我找到了一种比较它们并返回差异的方法，但无法找出如何只返回df1中缺失的部分。
import pandas as pd
from pandas import Series, DataFrame
df1 = pd.DataFrame( {
"City" : ["Chicago", "San Franciso", "Boston"] ,
"State" : ["Illinois", "California", "Massachusett"] } )
df2 = pd.DataFrame( {
"City" : ["Chicago", "Mmmmiami", "Dallas" , "Omaha"] ,
"State" : ["Illinois", "Florida", "Texas", "Nebraska"] } )
df = pd.concat([df1, df2])
df = df.reset_index(drop=True)
df_gpby = df.groupby(list(df.columns))
idx = [x[0] for x in df_gpby.groups.values() if len(x) == 1]
blah = df.reindex(idx)
共有3个答案
如果你在熊猫身上
你可以像这样努力
In [182]: df = pd.merge(df1, df2, on='City', how='outer')
In [183]: df
Out[183]:
City State_x State_y
0 Chicago Illinois Illinois
1 San Franciso California NaN
2 Boston Massachusett NaN
3 Mmmmiami NaN Florida
4 Dallas NaN Texas
5 Omaha NaN Nebraska
In [184]: df.ix[df['State_y'].isnull(),:]
Out[184]:
City State_x State_y
1 San Franciso California NaN
2 Boston Massachusett NaN
IIUC然后，如果您使用的是pandas版本0.17.0，则可以使用merge并设置indicator=True：
In [80]:
df1 = pd.DataFrame( {
"City" : ["Chicago", "San Franciso", "Boston"] ,
"State" : ["Illinois", "California", "Massachusett"] } )
df2 = pd.DataFrame( {
"City" : ["Chicago", "Mmmmiami", "Dallas" , "Omaha"] ,
"State" : ["Illinois", "Florida", "Texas", "Nebraska"] } )
pd.merge(df1,df2, how='outer', indicator=True)
Out[80]:
City State _merge
0 Chicago Illinois both
1 San Franciso California left_only
2 Boston Massachusett left_only
3 Mmmmiami Florida right_only
4 Dallas Texas right_only
5 Omaha Nebraska right_only
这将添加一个列来指示行是否只存在于lhs或rhs中
基于@Edchum的建议：
df = pd.merge(df1, df2, how='outer', suffixes=('','_y'), indicator=True)
rows_in_df1_not_in_df2 = df[df['_merge']=='left_only'][df1.columns]
rows_in_df1_not_in_df2
|Index |City |State |
|------|------------|------------|
|1 |San Franciso|California |
|2 |Boston |Massachusett|
编辑：合并@RobertPeters建议
-
我有两个数据帧DF1和DF2。 DF1： DF2： 我需要来自DF2的行数，其中EmploymentType='Employee'，EmpStatus='Active'，EmpStartDate 输出： 如何在不合并两个数据帧的情况下实现这一点？ 我不能合并数据帧，因为没有公共键，而且因为我需要基于条件的行数，我不能在任何临时列上加入数据帧，因为我需要避免交叉连接。
-
这是我的密码： 我想知道如何将df3绑定到单个数据帧中作为"NA"s？ 我在r_blogger上找到了一篇关于将向量或长度不等的数据帧组合成一个数据帧的文章。http://www.r-bloggers.com/r-combining-vectors-or-data-frames-of-unequal-length-into-one-data-frame/ 但是我从数据中得到的数据框，其中一些是空的
-
我有两个数据帧，它们的列名相同，但行数不同。第一个数据帧（a）看起来与此类似： 注：站点5、6、8和12故意丢失。 第二个数据帧（b）看起来像这样： 我想要实现的是： 在那里我注入（我肯定有一个更好的术语）数据帧b到数据帧a的数据，但是我想用零替换b中的任何NAs，并保持a中的NAs不变。 我发现并尝试了这个代码： 但它会带来NAs。我考虑先将NAs替换为零，但即使如此，它也会抹去我目前在数据帧a
-
我有两个不同大小的数据帧，我想对四个不同列中的所有值进行比较（两组） 基本上，我希望看到df1['A']==df2['A'] 我的实际数据帧要大得多（120000行数据，A列的值从1到700，B列的值从1到300），所以我知道这可能是一个更长的过程。
-
我正在使用： Python 3.6.8 火花2.4.4 我在spark类路径中有以下JAR： http://repo1.maven.org/maven2/com/databricks/spark-redshift_2.11/2.0.1/spark-redshift_2.11-2.0.1.jar http://repo1.maven.org/maven2/com/databricks/spark-a
-
我有两个不同列数和行数的CSV文件。第一个CSV文件有M列和N行，第二个文件有H列和G行。一些列具有相同的名称。 null 另外，如果两个CSV文件有两个数据帧，并希望这样做，例如，如果我将第一个CSV加载到中，将第二个加载到中，然后希望合并到，类似于上面的示例。