Hive中的窗口功能

Question

我正在探索Hive中的窗口功能，并且能够理解所有UDF的功能。虽然，我无法理解我们与其他功能配合使用的分区和顺序。以下是与我计划构建的查询非常相似的结构。

SELECT a, RANK() OVER(partition by b order by c) as d from xyz;

只是试图了解两个关键字都涉及的后台过程。

感谢帮助:)

Answer 1

RANK() 分析函数为数据集中每个分区的每一行分配一个等级。

PARTITION BY 子句确定行的分布方式（如果是配置单元，则在缩减程序之间）。

ORDER BY 确定行在分区中的排序方式。

第一阶段由分配 ，数据集中的所有行均分配到分区中。在map-reduce中，每个映射器都根据来对行进行分组，partition by并为每个分区生成文件。Mapper根据进行分区部分的初始排序order by。

第二阶段 ，所有行都在每个分区内排序。在map-
reduce中，每个化简器获取由映射器生成的分区文件（分区的一部分），并根据来对整个分区中的行进行排序（部分结果的排序）order by。

第三 ，等级函数将等级分配给分区中的每一行。正在为每个分区初始化Rank函数。

对于分区中的第一行，排名从1开始。对于每个下一行Rank=previous row rank+1。给定相同等级的具有相等值（按顺序指定）的行，如果两行共享相同的等级，则下一个行等级不是连续的。

可以在不同的reducer上并行处理不同的分区。小型分区可以在相同的reducer上进行处理。秩函数在跨越分区边界时会重新初始化，并以每个分区的rank =
1开头。

示例（行已在分区内进行了分区和排序）：

SELECT a, RANK() OVER(partition by b order by c) as d from xyz;

a, b, c, d(rank)
----------------
1  1  1  1 --starts with 1
2  1  1  1 --the same c value, the same rank=1
3  1  2  3 --rank 2 is skipped because second row shares the same rank as first

4  2  3  1 --New partition starts with 1
5  2  4  2
6  2  5  3

如果需要连续的等级，请使用dense_rank功能。dense_rank将为上述数据集中的第三行产生rank = 2。

row_number 函数将为分区中从1开始的每一行分配位置编号。具有相等值的行将收到不同的连续编号。

SELECT a, ROW_NUMBER() OVER(partition by b order by c) as d from xyz;

a, b, c, d(row_number)
----------------
1  1  1  1 --starts with 1
2  1  1  2 --the same c value, row number=2
3  1  2  3 --row position=3

4  2  3  1 --New partition starts with 1
5  2  4  2
6  2  5  3

重要说明：
对于具有相同值row_number或其他此类分析函数的行，可能具有不确定的行为，并且每次运行都会产生不同的数字。在上述数据集的第一行可以接收数字2和第二行可接收数字1，反之亦然，因为它们的顺序不被确定，除非你会增加一个列
一个 的order by条款。在这种情况下，每次运行时所有行将始终具有相同的row_number，它们的顺序值是不同的。