使用 PostgreSQL 查找重复行

Question

我们有一个包含以下各栏的照片表:

id, merchant_id, url 

此表包含merchant_id， url组合的重复值。因此，一行可能会出现多次。

234 some_merchant  http://www.some-image-url.com/abscde1213
235 some_merchant  http://www.some-image-url.com/abscde1213
236 some_merchant  http://www.some-image-url.com/abscde1213

删除这些重复的最好方法是什么？(我用的是PostgreSQL 9.2和Rails 3。)

Answer 1

我看到你有几个选择。

要快速实现这一点，请使用以下内容（假设您的ID列不是唯一的，因为您在上面多次提到234）：

CREATE TABLE tmpPhotos AS SELECT DISTINCT * FROM Photos;
DROP TABLE Photos;
ALTER TABLE tmpPhotos RENAME TO Photos;

这是SQL小提琴。

如果有约束，则需要将约束添加回表中。

如果您的id列是唯一的，您可以做一些事情来保持您的最低ID:

DELETE FROM P1  
USING Photos P1, Photos P2
WHERE P1.id > P2.id
   AND P1.merchant_id = P2.merchant_id  
   AND P1.url = P2.url;  

还有小提琴。

Answer 2

sgeddes答案的第二部分不适用于Postgres（小提琴使用MySQL）。以下是他使用Postgres回答的更新版本：http://sqlfiddle.com/#!12/6b1a7/1

DELETE FROM Photos AS P1  
USING Photos AS P2
WHERE P1.id > P2.id
   AND P1.merchant_id = P2.merchant_id  
   AND P1.url = P2.url;  

Answer 3

这是我的看法。

select * from (
  SELECT id,
  ROW_NUMBER() OVER(PARTITION BY merchant_Id, url ORDER BY id asc) AS Row
  FROM Photos
) dups
where 
dups.Row > 1

随意玩订单，以根据您的规格定制要删除的记录。

SQL小提琴=

不再支持Postgres 9.2的SQL Fiddle；将SQL Fiddle更新到postgres 9.3