spark集群的性能因添加更多节点而降低

Question

我有一个由1B记录组成的大型数据集，由于Apache spark提供的可扩展性，我想使用它运行分析，但我在这里看到了一个反模式。我向spark集群添加的节点越多，完成时间就越长。数据存储是Cassandra，查询由Zeppelin运行。我尝试过许多不同的查询，但甚至是对＜code＞数据帧的简单查询。count（）的行为如下。

这是齐柏林飞艇笔记本临时表有18M记录

val df = sqlContext
  .read
  .format("org.apache.spark.sql.cassandra")
  .options(Map( "table" -> "temp", "keyspace" -> "mykeyspace"))
  .load().cache()
df.registerTempTable("table")

%sql 
SELECT first(devid),date,count(1) FROM table group by date,rtu order by date

当针对不同数量进行测试时。这些是火花工人节点的结果

+-------------+---------------+
| Spark Nodes |      Time     |
+-------------+---------------+
| 1 node      | 17 min 59 sec |
| 2 nodes     | 12 min 51 sec |
| 3 nodes     | 15 min 49 sec |
| 4 nodes     | 22 min 58 sec |
+-------------+---------------+

增加节点数会降低性能。这不应该发生，因为它违背了使用Spark的目的。

如果你想让我运行任何查询或关于设置的进一步信息，请询问。任何关于为什么会发生这种情况的线索都是非常有用的，我已经在这上面困了两天了。谢谢你的时间。

版本

齐柏林飞艇：0.7.1，火花：2.1.0，卡桑德拉：2.2.9，连接器：数据税：火花卡桑德拉连接器：2.0.1-s_2.11

火花簇规格

6个vCPU，32 GB内存=1个节点

卡珊德拉·齐柏林服务器规格

8个vCPU，52 GB内存

Answer 1

需要考虑的一件事是，在某个点上，您可能会用请求压倒Cassandra集群。如果不扩展等式的Cassandra端，您很容易看到收益递减，因为C*最终花费了太多时间拒绝请求。

这基本上是人工月谬误。仅仅因为你可以在一个问题上投入更多的工人并不一定意味着项目可以完成得更快。

分别对查询的不同部分进行基准测试对您非常有益。目前，当您设置它时，整个数据集都在读取时缓存，如果您正在对单个请求进行基准测试，这会增加额外的速度。

你应该单独进行基准测试

• 无需缓存即可从 C* 读取（只需直接从 C* 计数）
缓存
• 的成本（缓存后计数）
• 正在运行的随机查询的成本（从缓存运行查询）

然后，您可以找出瓶颈所在并适当扩展。