Pig拉丁语中几个字段元组的过滤和分组

Question

我对使用Pig进行工作还比较陌生。我有一个巨大的表（3.67百万个条目），其中有字段--id、feat1:value、feat2:value...featn:value。其中，id是文本，feat_i是特性名称，而value是给定id的特性i的thevalue。由于元组是稀疏表示，因此每个元组的特征数目可能不同。

1. ID1 F1:23 F3:45 F7:67
2. ID2 F2:12 F3:23 F5:21
3. ID3 F7:30 F16:8 F23:1

现在的任务是对具有共同特性的查询进行分组。我应该能够得到那些具有任何特征重叠的查询集。我试过几件事。交叉和联接在数据中产生爆炸，而reducer被卡住了。我不熟悉通过命令来调节组。

是否有一种方法可以在GROUP BY中编写条件，以便它只选择那些具有公共功能的查询。
对于上面的行，结果将是：

null

Answer 1

我想不出一个优雅的方法来做这在猪。基于某种条件，不可能进入b组。

但是，您可以对所有关系进行分组，并将其传递给一个UDF，该UDF将每个记录与其他记录进行比较。不是非常可伸缩性和UDF是必需的，但它可以完成这项工作。