如何对记录数组数组中的字段进行分组？

Question

我有以下模式-

[名称：StringType,Grades：ArrayType（StructType（StructField（subject_grades）,ArrayType（StructType（StructField（subject,StringType,false））,StructField（grade,LongType,false）

我想在subject_grades数组中的subject字段上groupby，该数组位于grades数组中。

sql.sql("select ... from grades_table group by grades.subject_grades.subject") 

org.apache.spark.sql.AnalysisException: cannot resolve 'grades.subject_grades[subject]' due to data type mismatch: argument 2 requires integral type, however, 'subject' is of string type.;

我明白为什么我得到这个错误，但我希望我可以避免爆炸整个事情，以便在内部的领域分组。

Answer 1

数组（相对来说）很难使用，当主查询需要内部元素（例如用于分组）时，需要explode（或flatmap)来使用它们。

我从这个问题中学到的一点是，下面的subject_grades类型为arraytype的子句被转换为以subject为索引的子句，因此需要整型。

group by grades.subject_grades.subject

除了使用explode（或flatmap)来“分解”subject_grades数组并进行分组之外，我别无选择。