未能找到具有启动缓存的数据存储配置的关联服务器节点

Question

未能找到具有启动缓存的数据存储配置的关联服务器节点[Cachename=SQL_PUBLY_JSON_TBL,ALIVESRVNodes=[]]。

我在Ec2机器中的HDP集群设置中运行它，但当我在这里的集群机器中执行相同的操作时，它工作得很好，但在Ec2机器中不是。

提前谢了。

val df = sqlContext.read.json("~/responses")
val s = df.select("response.id","response.name")
s.write.format(IgniteDataFrameSettings.FORMAT_IGNITE).option(IgniteDataFrameSettings.OPTION_CONFIG_FILE, "~/apache-ignite-fabric-2.6.0-bin/examples/config/spark/example-shared-rdd.xml").option(IgniteDataFrameSettings.OPTION_CREATE_TABLE_PRIMARY_KEY_FIELDS,"id").option(IgniteDataFrameSettings.OPTION_TABLE, "json_table").save()

下面是我在单个Ignite服务器上使用的xml配置文件：

 <?xml version="1.0" encoding="UTF-8"?>
    <beans xmlns="http://www.springframework.org/schema/beans"
           xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
           xsi:schemaLocation="
            http://www.springframework.org/schema/beans
            http://www.springframework.org/schema/beans/spring-beans.xsd">
        <bean id="ignite.cfg" class="org.apache.ignite.configuration.IgniteConfiguration">
            <property name="cacheConfiguration">
                <!-- SharedRDD cache example configuration (Atomic mode). -->
                <bean class="org.apache.ignite.configuration.CacheConfiguration">
                    <!-- Set a cache name. -->
                    <property name="name" value="sharedRDD"/>
                    <!-- Set a cache mode. -->
                    <property name="cacheMode" value="PARTITIONED"/>
                    <!-- Index Integer pairs used in the example. -->
                    <property name="indexedTypes">
                        <list>
                            <value>java.lang.Integer</value>
                            <value>java.lang.Integer</value>
                        </list>
                    </property>
                    <!-- Set atomicity mode. -->
                    <property name="atomicityMode" value="ATOMIC"/>
                    <!-- Configure a number of backups. -->
                    <property name="backups" value="1"/>
                </bean>
            </property>
            <property name="discoverySpi">
                <bean class="org.apache.ignite.spi.discovery.tcp.TcpDiscoverySpi">
                    <property name="ipFinder">
    <bean class="org.apache.ignite.spi.discovery.tcp.ipfinder.multicast.TcpDiscoveryMulticastIpFinder">
                            <property name="addresses">
                                <list>
                                    <!-- In distributed environment, replace with actual host IP address. -->
                                    <value>127.0.0.1:47500..47509</value>
                                </list>
                            </property>
                        </bean>
                    </property>
                </bean>
            </property>
        </bean>
    </beans> 

这是完整的日志。

18/10/30 12:32:54警告griddiagnostic：初始堆大小为252MB（应不小于512MB，请使用-xms512m-xmx512m)。18/10/30 12:32:54警告TCPCommunicationSPI：消息队列限制设置为0，由于发送方和接收方的消息队列增长，在以FULL_ASYNC或PRIMARY_SYNC模式运行缓存操作时，可能会导致潜在的OOME。18/10/30 12:32:55 WARN noopcheckpointspi：检查点被禁用（以启用配置任何GridCheckpointSpi实现）18/10/30 12:32:55 WARN gridcolliisionManager：冲突解决被禁用（所有作业到达后将被激活）。18/10/30 12:32:57 WARN TCPDiscoverySPI：由于ClassNotFoundException（确保所有节点上可用的所有类的相同版本），无法读取消息[RMTNodeID=3085DFA9-58BA-4AC0-A7F8-F78E2901A699,ERR=O.A.I.I.Processors.Hadoop.HadoopAttributes]18/10/30 12:32:57 WARN IGNITEAuthenticationProcessor：找不到服务器协调器节点。客户机可能以forceservermode=true启动。安全警告：用户身份验证将在客户端被禁用。18/10/30 12:32:58错误clustercachesinfo：未能找到具有启动缓存的数据存储配置的关联服务器节点[cachename=sql_public_json_tbl6,alivesrvnodes=[]]18/10/30 12:32:58警告cacheAffinitySharedManager:没有找到缓存客户端的服务器节点:SQL_PUBLIC_JSON_TBL

Answer 1

日志包含以下记录：

12:32:57 WARN TcpDiscoverySpi: Failed to read message due to ClassNotFoundException (make sure same versions of all classes are available on all nodes) [rmtNodeId=3085dfa9-58ba-4ac0-a7f8-f78e2901a699, err=o.a.i.i.processors.hadoop.HadoopAttributes] 

它指出，发现消息不能反序列化，因为HadoopAttributes类不在类路径上。它可能会导致连接问题，并影响节点之间的互见能力。

确保所有节点的类路径上都有ignite-hadoop模块，或者消除这种依赖关系。