在Hive中分区和扣表有什么区别？

Question

我知道这两个操作都是对表中的一列执行的，但每个操作有什么不同。

Answer 1

数据分区通常用于水平分配负载，这具有性能优势，并有助于以逻辑方式组织数据。示例：如果我们正在处理一个大型Employee表，并且经常使用WHERE子句运行查询，这些子句将结果限制在特定的国家或部门。为了更快的查询响应，配置单元表可以按（country STRING，DEPT STRING)进行分区。分区表改变了配置单元的结构数据存储和配置单元现在将创建反映分区结构的子目录，如

.../employees/country=abc/dept=xyz。

如果查询限制员工来自country=abc，则只扫描一个目录country=abc的内容。这可以显著提高查询性能，但前提是分区方案反映了公共筛选。分区特性在Hive中非常有用，然而，创建太多分区的设计可能会优化某些查询，但对其他重要查询不利。分区太多的另一个缺点是不必要地创建大量Hadoop文件和目录，以及NameNode的开销，因为它必须将文件系统的所有元数据保存在内存中。

Bucketing是将数据集分解成更易于管理的部分的另一种技术。例如，假设一个表使用date作为顶层分区，使用employee_id作为二级分区，会导致太多的小分区。相反，如果我们将employee表bucketing并使用employee_id作为bucketing列，则该列的值将通过用户定义的数字散列到buckets中。具有相同employee_id的记录将始终存储在同一个bucket中。假设employee_id的数量远大于buckets的数量，那么每个bucket将有许多employee_id。在创建表时，可以将likeclustered BY(employee_id)指定为XX桶；，其中XX是桶的数量。Bucketing有几个优点。桶的数量是固定的，所以它不会随数据而波动。如果用employee_id对两个表进行排列，Hive可以创建逻辑上正确的采样。Bucketing还有助于进行有效的地图端连接等。