当前位置: 首页 > 知识库问答 >
问题:

Spark Cassandra迭代查询

郎和志
2023-03-14

我正在通过Spark Cassandra连接器应用以下内容:

val links = sc.textFile("linksIDs.txt")
links.map( link_id => 
{ 
val link_speed_records = sc.cassandraTable[Double]("freeway","records").select("speed").where("link_id=?",link_id)
average = link_speed_records.mean().toDouble
})

共有1个答案

长孙雅志
2023-03-14

使用joinWithCassandra方法使用RDD键从Cassandra表中提取数据。问题中给出的方法相对来说非常昂贵,而且不能很好地作为并行请求。

https://github.com/datastax/spark-cassandra-connector/blob/master/doc/2_loading.md#穿孔-效率-与-cassandra-tables-since-12

 类似资料:
  • 我在临时表中填充了数据(该表最多将始终有 10 条记录)。我正在尝试的下一步是逐个拾取记录并查询数据库以测试某些条件并根据查询结果分配注释。例如: 我正在尝试编写一个sybase查询,它将一个接一个地拾取数据(递归地?),运行一些指定的查询并返回一个通过或失败的注释,然后我将最终填充到另一个临时表中 例如:第1行是AB1-从表中选择名称,其中name='AB1'如果它没有返回数据,我会停在那里并填

  • 你竟任着刚硬不悔改的心,为自己积蓄忿怒,以致神震怒,显他公义审判的日子来到。他必照各人的行为报应各人。凡恒心行善,寻求荣耀、尊贵和不能朽坏之福的,就以永生报应他们;惟有结党不顺从真理,反顺从不义的,就以忿怒、恼恨报应他们。(ROMANS 2:7-8) 迭代 Bill正在介绍他的项目,嘴里不断蹦出“loop、iterate、traversal、recursion”这些单词,夹杂在汉语汇总。旁边的小白

  • 什么叫做迭代? 比如在 Java 中,我们通过 List 集合的下标来遍历 List 集合中的元素,在 Python 中,给定一个 list 或 tuple,我们可以通过 for 循环来遍历这个 list 或 tuple ,这种遍历就是迭代。 可是,Python 的 for 循环抽象程度要高于 Java 的 for 循环的,为什么这么说呢?因为 Python 的 for 循环不仅可以用在 list

  • 如果给定一个list或tuple,我们可以通过for循环来遍历这个list或tuple,这种遍历我们称为迭代(Iteration)。 在Python中,迭代是通过for ... in来完成的,而很多语言比如C或者Java,迭代list是通过下标完成的,比如Java代码: for (i=0; i<list.length; i++) { n = list[i]; } 可以看出,Python的

  • 如果给定一个list或tuple,我们可以通过for循环来遍历这个list或tuple,这种遍历我们称为迭代(Iteration)。 在Python中,迭代是通过for ... in来完成的,而很多语言比如C语言,迭代list是通过下标完成的,比如Java代码: for (i=0; i<list.length; i++) { n = list[i]; } 可以看出,Python的for循

  • null 一些示例输出数据: *编辑:工作的scala代码行: