滤波器中的Spark Scala位运算

Question

我有一个由col1和col2列聚合的源数据集。Col2值通过按位或运算进行聚合。我需要对Col2值应用过滤器，以选择位为8,4,2的记录

初始源原始数据

val SourceRawData = Seq(("Flag1", 2),
      ("Flag1", 4),("Flag1", 8), ("Flag2", 8), ("Flag2", 16),("Flag2", 32)
      ,("Flag3", 2),("Flag4", 32),
      ("Flag5", 2), ("Flag5", 8)).toDF("col1", "col2")
SourceRawData.show()
+-----+----+
| col1|col2|
+-----+----+
|Flag1|   2|
|Flag1|   4|
|Flag1|   8|
|Flag2|   8|
|Flag2|  16|
|Flag2|  32|
|Flag3|   2|
|Flag4|  32|
|Flag5|   2|
|Flag5|   8|
+-----+----+

将Col1值折叠为每Col1值一行后，基于“上面的SourceRawData”聚合源数据，这是其他团队和Col2值通过按位或运算聚合的结果。注意我这里提供的是输出，而不是实际的聚合逻辑

val AggregatedSourceData = Seq(("Flag1", 14L),
      ("Flag2", 56L),("Flag3", 2L), ("Flag4", 32L), ("Flag5", 10L)).toDF("col1", "col2")

AggregatedSourceData.show()

+-----+----+
| col1|col2|
+-----+----+
|Flag1|  14|
|Flag2|  56|
|Flag3|   2|
|Flag4|  32|
|Flag5|  10|
+-----+----+

现在，我需要对上面的聚合数据集应用过滤器，以根据原始源原始数据值获取col2值满足（8,4,2）col2位的行

expected output
+-----+----+
|Col1 |Col2|
+-----+----+
|Flag1|14  |
|Flag2|56  |
|Flag3|2   |
|Flag5|10  |
+-----+----+

我尝试了下面这样的html" target="_blank">方法，似乎得到了预期的输出，但无法理解它是如何工作的。这是正确的方法吗？？如果是的话，它是如何工作的（我不太懂位运算，所以请寻求专家帮助了解）`

``
var myfilter:Long  = 2 | 4| 8
AggregatedSourceData.filter($"col2".bitwiseAND(myfilter) =!= 0).show()  
 
+-----+----+
| col1|col2|
+-----+----+
|Flag1|  14|
|Flag2|  56|
|Flag3|   2|
|Flag5|  10|
+-----+----+

Answer 1

我认为你不需要使用bitWiseAnd来过滤，相反，只需使用包含/in“你想要的比特数的一组十进制表示”或==到“你想要的比特数的十进制表示”

此外，如果你在没有Scala或spark的情况下尝试现有的计算，你会发现你理解错误的地方，例如，在这里使用：

https://www.rapidtables.com/calc/math/binary-calculator.html

你会发现你定义的过滤器“错误”<代码>18

您的数据集标志列每行将只有一个值，因此只需筛选标志列，其值位于您想要的数字集中。

$”标志==18或

（18,2,20）包含$”标志