Python合并两个具有不同日期时间[重复]的数据帧

Question

我有两个csv文件，我想读入熊猫的数据帧。我想合并它们，但显示时间不能重复。

如果ShowingDateTime是重复的，我想从第一个数据帧而不是第二个数据帧中选择行。我不确定用熊猫做这件事的最好方法。我想排序基于升序ShowingDateTime之后。

CSV1：

Address,City,State,ShowingDateTime
1234 Hodge Street,Brown,CA,1/4/17 12:00
9613 Llama Street,Downtown,CA,1/5/17 12:15
7836 Bob Street,Swamp,CA,1/5/17 12:30
2134 Cardinal Street,Ruler,CA,1/6/17 11:30

CSV2：

Address,City,State,ShowingDateTime
10234 Peek Street,Brown,CA,1/4/17 12:00
1122 Kara Street,Downtown,CA,1/5/17 12:30
1023 Solr Street,Swamp,CA,1/6/17 11:30
2234 Tempura Street,Ruler,CA,1/6/17 12:00

预期合并结果（在df合并后写入csv）：

1234 Hodge Street,Brown,CA,1/4/17 12:00
9613 Llama Street,Downtown,CA,1/5/17 12:15
7836 Bob Street,Swamp,CA,1/5/17 12:30
2134 Cardinal Street,Ruler,CA,1/6/17 11:30
2234 Tempura Street,Ruler,CA,1/6/17 12:00

Answer 1

我建议你搜索一下其他的问题，你会发现更有效的方法，比如这里。它概述了在处理大型数据集时使用df.index.duplicated（keep='first'）是如何提高性能效率的，在您的情况下，可以按如下方式进行：

directory = './records/'
all_files = [f for f in os.listdir(directory)]
df = pd.concat((pd.read_csv(directory+f, index_col=3) for f in all_files)) #specify ShowingDateTime as index column
df = df[~df.index.duplicated(keep='first')] #keep only the first index

Answer 2

您希望conconat（）而不是合并。

第一件事是加载每个csv。

df1 = pd.read_csv('csv1.csv')
df2 = pd.read_csv('csv2.csv')

然后在两个dfs处进行连接。

final_df = pd.concat([df1,df2],how='outer', ignore_index=True)

然后删除在这些情况下保留df1行的ShowingDateTime的副本

final_df.drop_duplicates(subset=['ShowingDateTime'], keep='first')

然后另存为csv

final_df.to_csv('final.csv')

Answer 3

  import pandas as pd
  df1 = pd.read_csv('path_of_first_csv_file')
  df2 = pd.read_csv('path_of_second_csv_file')
  df3 = pd.concat([df1, df2], ignore_index=True)
  df3 = df3.drop_duplicates(subset='ShowingDateTime', keep="first")
  print(df3)
  df3.to_csv('output.csv')