群集密钥上的Spark Cassandra连接器联接

Question

我试图在卡桑德拉的一小部分数据上运行一个火花工作。我手头有一个键的RDD（分区和集群列），我只想在这些键上运行我的作业。

type CassandraKey = (String, String, String, String)
val columns = SomeColumns(ColumnName("pkey1"),ColumnName("pkey2"),ColumnName("pkey3"),ColumnName("ckey1"))
val repartitionedKeys: CassandraPartitionedRDD[CassandraKey] = keys.repartitionByCassandraReplica("keyspace", "table", partitionKeyMapper = columns)
val selectedRows: CassandraJoinRDD[CassandraKey, CassandraRow] =
    repartitionedKeys.joinWithCassandraTable[CassandraRow](keyspace, table).on(joinColumns = columns)
selectedRows.collect()

我在BoundStatementBuilder上收到以下错误：19

java.lang.IllegalArgumentException: ckey1 is not a column defined in this metadata

CREATE TABLE "keyspace".table (
pkey1 text,
pkey2 text,
pkey3 text,
ckey1 text,
ckey2 text,
ckey3 timestamp,
data text,
PRIMARY KEY (( pkey1, pkey2, pkey3 ), ckey1, ckey2, ckey3)
) 

Answer 1

“重新分区”部分只能在分区键上，所以不要在那里指定列，或者如果只选择分区键列。仅使用JoinWithCassandRatable调用指定所有联接列。