无法在SparkSQL中选择每个组的前10条记录

Question

嗨，我是Spark SQL的新手。我有一个这样的数据框。

  ---+----------+----+----+----+------------------------+
 |tag id|timestamp|listner| orgid |org2id|RSSI
 +---+----------+----+----+----+------------------------+
 |  4|1496745912| 362|   4|   3|                    0.60|
 |  4|1496745924|1901|   4|   3|                    0.60|
 |  4|1496746030|1901|   4|   3|                    0.60|
 |  4|1496746110| 718|   4|   3|                    0.30|
 |  2|1496746128| 718|   4|   3|                    0.60|
 |  2|1496746188|1901|   4|   3|                    0.10|

我想为每个列表器在Spark sql中选择前10个时间戳值。

我尝试了以下查询。它引发错误。

  val avg = sqlContext.sql("select top 10 * from avg_table") // throws error.

  val avg = sqlContext.sql("select rssi,timestamp,tagid from avg_table order by desc limit 10")  // it prints only 10 records.

我想为每个列表器选择我需要采用的前10个时间戳值。任何帮助将不胜感激。

Answer 1

这不行吗？

select rssi, timestamp, tagid
from avg_table
order by timestamp desc
limit 10;

编辑：

哦，我明白了。您要row_number()：

select rssi, timestamp, tagid
from (select a.*,
             row_number() over (partition by listner order by timestamp desc) as seqnum
      from avg_table
     ) a
where seqnum <= 10
order by a.timestamp desc;