如何使工人只查询本地cassandra节点？

Question

假设我有几台机器，每台都安装了spark worker和cassandra node。是否可以要求每个spark worker只查询它的本地cassandra节点（在同一台机器上），这样当我使用spark-cassandra-connector在repartitionByCassandraReplica之后连接Cassandratable时就不涉及网络操作，所以每个spark worker从它的本地存储中获取数据？

Answer 1

在Spark-Cassandra连接器中，LocalNodeFirstLoadBalancingPolicy处理这项工作。它首先选择本地节点，然后检查相同DC中的节点。具体来说，使用java.net.networkinterface确定本地节点，以便在主机列表中查找与本地地址列表中的地址匹配的地址，如下所示：

private val localAddresses =
  NetworkInterface.getNetworkInterfaces.flatMap(_.getInetAddresses).toSet

/** Returns true if given host is local host */
def isLocalHost(host: Host): Boolean = {
  val hostAddress = host.getAddress
  hostAddress.isLoopbackAddress || localAddresses.contains(hostAddress)
}

此逻辑用于创建查询计划，该计划返回查询的候选主机列表。无论计划类型如何（识别或不识别令牌），列表中的第一个主机始终是本地主机（如果存在的话）。