AWS Athena（Presto）DISTINCT SQL查询中的结果是否重复？

Question

我在S3上有一堆只包含MD5的文件，每行一个。我创建了一个AWS Athena表来运行针对MD5的重复删除查询。这些文件和表中总共有数以亿计的MD5。

雅典娜表创建查询：

CREATE EXTERNAL TABLE IF NOT EXISTS database.md5s (
  `md5` string 
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
  'serialization.format' = ',',
  'field.delim' = ','
) LOCATION 's3://bucket/folder/';

SELECT DISTINCT md5
FROM md5s;`

SELECT md5
FROM md5s
GROUP BY md5;

SELECT md5
FROM md5s
GROUP BY DISTINCT md5;

SELECT DISTINCT md5
FROM md5s
GROUP BY DISTINCT md5;

• 计数（DISTINCT md5)（雅典娜）：97,533,226
• 导出不同MD5的记录:97,581,616
• 结果导出中有14,790个重复项，因此计数(DISTINCT)计数都是错误的，结果导出也是错误的。

雅典娜是否在导出时创建了副本？--情节变得更加浓重。如果我查询我的Athena表，查找在Athena结果导出中重复的MD5之一，我只从表中得到一个结果/行。我使用like查询对此进行了测试，以确保空格不会导致该问题。这意味着雅典娜正在向导出添加副本。结果中相同的MD5从不超过两个。

select
  md5,
  to_utf8(md5)
from md5s
where md5 like '%0061c3d72c2957f454eef9d4b05775d7%';

雅典娜的计数和结果文件都错了吗？-我使用MySQL删除了这些相同的记录，最终得到了97,531,010个唯一的MD5。雅典娜的计数和结果详情如下。

null

我认为这是一个雅典娜的错误--我已经向AWS的开发团队申请了一张罚单来修复这个问题，并且会在它出现的时候更新这个帖子。

这里是AWS论坛的相关帖子，其他用户看到了同样的问题。https://forums.aws.amazon.com/thread.jspa？messageid=764702

Answer 1

我已经与AWS团队确认，这是一个已知的错误与AWS雅典娜时的问题被问到。我不确定这件事是否已经解决了。