在不合并数据帧的情况下比较两个数据帧的列

Question

我有两个数据帧DF1和DF2。

DF1：

StartDate

1/1/2013
2/1/2013
11/1/2014
4/1/2014
5/1/2015

DF2：

EmploymentType        EmpStatus           EmpStartDate

Employee              Active              11/5/2012
Employee              Active              9/10/2012
Employee              Active              10/15/2013
Employee              Active              10/29/2013
Employee              Terminated          10/29/2013
Contractor            Terminated          11/20/2014
Contractor            Active              11/20/2014

我需要来自DF2的行数，其中EmploymentType='Employee'，EmpStatus='Active'，EmpStartDate

输出：

Start Date    Count

1/1/2013      2
2/1/2013      2
11/1/2014     4
4/1/2014      4
5/1/2015      4

如何在不合并两个数据帧的情况下实现这一点？

我不能合并数据帧，因为没有公共键，而且因为我需要基于条件的行数，我不能在任何临时列上加入数据帧，因为我需要避免交叉连接。

Answer 1

def compensation(x):
return DF2[DF2['EmpStartDate']<x
 and  DF2['EmpStatus']=='Active'].shape[0]

DF1['Count']=DF1['StartDate']
       .apply(lambda x:  
                   compensation(x),axis=1)

方法是布尔索引和计数行。https://pandas.pydata.org/pandas-docs/stable/indexing.html

Answer 2

如果你的数据帧太大，你可以使用笛卡尔连接和过滤来完成：

(df1.assign(key=1)
   .merge(df2.query('EmploymentType == "Employee" and EmpStatus=="Active"').assign(key=1), 
          on='key')
   .query('EmpStartDate <= StartDate')
   .groupby('StartDate')['key'].count())

输出：

StartDate
2013-01-01    2
2013-02-01    2
2014-04-01    4
2014-11-01    4
2015-05-01    4
Name: key, dtype: int64

• 使用query过滤df2，将EmploymentType和EmpStatus分别包含为Employee和Active
• 为每个数据帧分配一个伪键，并对伪键使用merge，以创建所有记录的笛卡尔连接
• 使用query仅筛选EmpStartDate小于或等于StartDate的记录的联接结果
• 最后，groupbyStartDate和count

另外，请注意，使用查询是一种快捷方式。如果列名包含特殊字符或空格，则需要使用布尔索引筛选数据帧。

pd.merge_asof(df2.query('EmploymentType == "Employee" and EmpStatus == "Active"').sort_values('EmpStartDate'), 
              df1.sort_values('StartDate'), 
              left_on='EmpStartDate', 
              right_on='StartDate', 
              direction='forward')\
  .groupby('StartDate')['EmploymentType'].count()\
  .reindex(df1.StartDate.sort_values())\
  .cumsum()\
  .ffill()

输出：

StartDate
2013-01-01    2.0
2013-02-01    2.0
2014-04-01    4.0
2014-11-01    4.0
2015-05-01    4.0
Name: EmploymentType, dtype: float64

详情：

>

使用pd。merge_asof将df2过滤器向下加入到df1，直到最近的前瞻性日期。

从df1加入的开始日期和计数。