Datstax Cassandra装船机

Question

我正在尝试使用JMX BulkLoader将数据从远程节点ETL到集群的Cassandra中

https://github.com/patrickcallaghan/datastax-analytics-example/blob/master/src/main/java/com/datastax/jmxloader/jmxbulkloader.java

但是在成功建立JMX连接之后，它似乎无法进行大容量加载。

注意，大容量装载是从远程节点发出到cassandra集群的。

它似乎希望运行在cassandra集群的本地（即cassandra集群的本地主机）

我错过什么了吗。有谁能给我出个主意吗

class JmxBulkLoader(host: String, port: Int) {

  private var connector: JMXConnector = _

  private var storageBean: StorageServiceMBean = _

  private var timer: Timer = new Timer()

  connect("http://hostip , 7199)

 private def connect(host: String, port: Int) {

    val jmxUrl = new JMXServiceURL("service:jmx:rmi:///jndi/rmi://%s:%d/jmxrmi".format(host,

      port))

    Logger.info(" Connected to JMX Entity " + jmxUrl)

    val env = new HashMap[String, Any]()

    connector = JMXConnectorFactory.connect(jmxUrl, env)

    val mbeanServerConn = connector.getMBeanServerConnection

    val name = new ObjectName("org.apache.cassandra.db:type=StorageService")

    storageBean = JMX.newMBeanProxy(mbeanServerConn, name, classOf[StorageServiceMBean])

  }

  def close() {

    connector.close()

  }

  def bulkLoad(path: String): Boolean = {

    try {

      val timer = new Stopwatch().start

      val result = storageBean.bulkLoadAsync(path)

      timer.stop

      Logger.info("Async Result of Bulk Load " + result)

      Logger.info("Bulk load took " + timer.getElapsedTime + "millsecs.")

      true

    } catch {

      case e: Exception =>

        Logger.error("Error in Bulk Loading " + e.printStackTrace())

        false

    }

  }

}

Answer 1

它似乎希望运行在cassandra集群的本地（即cassandra集群的本地主机）

不完全是。但是请考虑一下：您正在使用字符串参数调用Cassandra节点的mbean函数。此调用由您正在调用的Cassandra进程执行（即，连接到的）。该参数指定要连接到的节点一侧的路径。

您必须确保该路径存在于目标上，并且保存了所需的数据（例如，通过共享存储或预先复制文件）。