向Cassandra写入大火花数据帧-性能调整

Question

我在Spark 2.1.0/Cassandra 3.10集群（4台机器*12个内核*256个RAM*2个SSD）上工作，很长一段时间以来，我一直在努力使用Spark Cassandra connector 2.0.1向Cassandra写入特定的大数据帧。

这是我的表的模式

CREATE TABLE sample_table (
        hash blob,
        field1 int,
        field2 int,
        field3 boolean,
        field4 bigint,
        field5 bigint,
        field6 list<FROZEN<some_type>>,
        field7 list<FROZEN<some_other_type>>,
        PRIMARY KEY (hash)
);

用作主键的散列是256位；列表字段包含多达1MB的某种结构化类型的数据。总共，我需要写几亿行。

目前，我正在使用以下写入方法：

  def storeDf(df: Dataset[Row]) = {
    df.write
      .cassandraFormat(sample_table, sample_keyspace)
      .options(
          WriteConf.ConsistencyLevelParam.option(ConsistencyLevel.ANY)
      )
      .save
  }

... Spark使用48个并行任务写入数据帧，每个任务在1.2h内写入约95MB，这当然不是我想要的。

我很感激关于如何调整写入性能和/或在这样的设置中修改我的模式的建议。通过哈希和分区内的排序进行重新分区有意义吗？

谢谢！

Answer 1

有关Spark Cassandra连接器调整，请参阅本博客。你会对预期的性能数字有所了解。您还可以尝试另一种开源产品SnappyData，即Spark数据库，它将在您的用例中为您提供非常高的性能。