在Spark中通过公平调度实现并发

Question

我的环境：我正在尝试通过Spark Thrift服务器连接Cassandra。然后，我在Hive Metastore中创建一个元表，其中保存了Cassandra表数据。在一个web应用程序中，我通过JDBC驱动程序连接到元表。我已经为Spark Thrift服务器启用了公平调度。

问题：当我通过JMeter为100个用户执行300秒的并发负载测试时，初始请求的响应时间为次秒（比如前30秒）。然后响应时间逐渐增加（像2到3秒）。当我检查Spark UI时，所有的作业都在不到100毫秒的时间内执行。我还注意到，当收到请求时，作业和任务处于待定阶段。因此，我假设，即使任务需要几秒钟的时间来执行，它们也是由调度程序提交的，并且有一个延迟时间。如何修复作业提交中的延迟？

<pool name="default">
    <schedulingMode>FAIR</schedulingMode>
    <weight>2</weight>
    <minShare>15</minShare>
  </pool>
  <pool name="test">
    <schedulingMode>FIFO</schedulingMode>
    <weight>2</weight>
    <minShare>3</minShare>
  </pool>

Answer 1

这不是队列中挂起的查询而其他查询正在运行的情况吗。尝试减少spark.locality。请等待输入1