当前位置: 首页 > 知识库问答 >
问题:

如何在spark sql上执行group by和聚合操作

司徒炎彬
2023-03-14

如何在spark SQL上执行分组操作。我不能在一个特定的列上按组,并在不同的列上聚合值

  val sqlResultjoin_groupInfo =
       spark.sql("select sum(values) as volume,
                         sum(disNumber) as disNumber,values 
                    from (select *
                            from dist a
                             join map b on a.id=b.id ) abc 
                  group by values")
     == SQL ==
   val sqlResultjoin_groupInfo= spark.sql("select sum(values) as volume,values from ( select * from dist a join map b on  a.id=b.id ) abc group by values")

共有1个答案

钱跃
2023-03-14

通过alias.col引用所有外部查询项。如

  abc.values

您使用的是内联视图。即ABC。

 类似资料:
  • 在https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-filter-aggregation.html我们了解到: 以上代码显示了我们如何为t恤添加aggs,但我们如何做到: 和

  • 我正在使用Spring Boot编写一套微服务,我需要运行一些BDD风格的集成测试,这些测试独立于其他测试。为了弄清楚是怎么回事,我已经在其中一个生产者上使用Spring Cloud contract编写了一个非常简单的contract。这里是: 在消费者方面,我得到了一个运行良好的存根。我在集成测试中使用了Cucumber,因此我设置了运行程序,如下所示: 在相当长的延迟之后,我得到了这个错误:

  • 我使用spring集成来处理文件的一些目录,每个文件都通过一个“流”。我希望以这样一种方式设置文件的整体处理,即文件轮询器监视一个目录(或多个目录)中的新文件。一旦轮询器拾取了一个新文件,就应该将其传递给流中的后续组件,在该组件中处理该新文件,而不保持轮询过程。处理的第二个方面是,所有新文件都要经过几个步骤,然后由聚合器根据文件数(标准在不同目录中变化)进行聚合。一旦积累了足够的文件,就可以从聚合

  • 问题内容: 这是我第一次在Java中使用Mongo,并且此聚合查询存在一些问题。我可以在Mongo for Spring中执行一些简单的查询,并在我的Repository接口中扩展注解。知道在Spring-Data中进行长时间聚合时采用哪种方法会很有帮助。 问题答案: 您可以实现AggregationOperation 并编写自定义聚合操作查询,然后用于执行您在mongo shell中执行的任何m

  • 这是我第一次在Java中使用Mongo,这个聚合查询有一些问题。我可以在我的存储库界面中使用注释在Mongo for Spring中进行一些简单的查询,这扩展了

  • 如何在多个字段上执行聚合?也就是说,我想列出“field1”和“field2”的术语聚合结果,不是单独列出,而是在同一个桶中列出。在elasticsearch中可能吗?