弹性搜索与Nutch集成

Question

我试着遵循这里列出的Nutch+ES指南

https://gist.github.com/xrstf/b48a970098a8e76943b9

https://qbox.io/blog/scring-the-web-wit-nutch-for-elasticsearch

然而，我无法让他们的组合工作。基本上，我在Nutch上执行了以下命令：

nutch inject <file_containing_url>
nutch generate -topN 1
nutch fetch -all
nutch parse -all
nutch updatedb -all

现在，我想将获取的数据索引到ES中，我按照指南进行了操作：

nutch index elasticsearch -all

但是，在此命令执行完毕后，ElasticSearch中没有任何更改。runtime/local/logs下的日志显示：

elastic.ElasticIndexWriter - Processing remaining requests [docs = 0, length = 0, total docs = 0]

    <property>
        <name>plugin.includes</name>
        <!-- do **NOT** enable the parse-html plugin, if you want proper HTML parsing. Use something like parse-tika! -->
        <value>protocol-httpclient|urlfilter-regex|parse-(text|tika|js)|index-(basic|anchor|more)|query-(basic|site|url)|response-(json|xml)|summary-basic|scoring-opic|urlnormalizer-(pass|regex|basic)|indexer-elastic</value>
    </property>
    <property>
        <name>elastic.host</name>
        <value>10.5.140.112</value> <!-- where is ElasticSearch listening -->
    </property>
      <property>
        <name>elastic.cluster</name>
        <value>nutch</value>
      </property>

      <property>
        <name>elastic.index</name>
        <value>nutch</value>
      </property>

      <property>
        <name>elastic.port</name>
        <value>9300</value>
      </property>

Answer 1

我不知道我是否完全理解了这一点，也不确定以下步骤是否有所帮助，但最终我成功地将一些页面索引到了ES：

以下是我所做的：

我发现嵌入在root_nutch_folder/src/plugins/中的ES客户端java是1.4.1版本。我将其升级到1.7.5（匹配我的ES本地服务器版本），遵循indexer-ellastic文件夹中指定的howto_upgrade_es.txt文件。然而，我不认为这有助于解决问题，因为是nutch没有告诉ES索引任何东西，而不是ES客户机-服务器通信问题。