在HDFS上创建Solr core时出现的问题

Question

$ bin/solr start -Dsolr.directoryFactory=HdfsDirectoryFactory -Dsolr.lock.type=hdfs -Dsolr.data.dir=hdfs://localhost:9000/tmp -Dsolr.updatelog=hdfs://localhost:9000/tmp -s solr-cores/core1

并试图创建如下所示的核心，

bin/solr create -c hdfsstarted -d /home/admin/HadoopTools/solr-5.3.0/server/solr/configsets/data_driven_schema_configs_hdfs/conf -n hdfsstarted

但得到以下错误：

安装新的核心实例目录：/home/admin/hadooptools/solr-5.3.0/solr-cores/core1/hdfsstarted

<directoryFactory name="DirectoryFactory" class="solr.HdfsDirectoryFactory">
    <str name="solr.hdfs.home">hdfs://10.67.5.244:50070/tmp</str>
    <bool name="solr.hdfs.blockcache.enabled">true</bool>
    <int name="solr.hdfs.blockcache.slab.count">1</int>
    <bool name="solr.hdfs.blockcache.direct.memory.allocation">false</bool>
    <int name="solr.hdfs.blockcache.blocksperbank">16384</int>
    <bool name="solr.hdfs.blockcache.read.enabled">true</bool>
    <bool name="solr.hdfs.blockcache.write.enabled">false</bool>
    <bool name="solr.hdfs.nrtcachingdirectory.enable">true</bool>
    <int name="solr.hdfs.nrtcachingdirectory.maxmergesizemb">16</int>
    <int name="solr.hdfs.nrtcachingdirectory.maxcachedmb">192</int>
</directoryFactory>
<lockType>
   hdfs
</lockType>

请让我知道如何在HDFS中正确创建核心。

Answer 1

原因：协议消息结束组标记与预期标记不匹配。

发生此错误是因为您使用了不正确的HDFS端口。请参见hdfs-ls：本地异常失败：com.google.protobuf.InvalidProtocolBufferException：。

在这里，您需要将端口从50070（看起来像NameNode web ui端口）更改为8020或作为NameNode RPC端口使用的任何端口：

<str name="solr.hdfs.home">hdfs://10.67.5.244:50070/tmp</str>