如何在Ubuntu10.10中配置Nutch和solr？

Question

我试图为我最后一年的项目建立一个搜索引擎。在过去的两个月里，我对这个话题做了很多研究。我发现我需要一个爬虫来爬行互联网，一个解析器和一个索引器。

我试图使用Nutch作为爬虫和solr索引Nutch抓取的数据。但是我被困在他们两个的安装部分。我试图安装Nutch和solr在我的系统帮助下，在互联网上的教程，但没有任何工作对我。

接下来，我被解析器困住了。我对这个阶段一无所知。我需要帮助这里关于如何做数据解析前的索引。

我不想建立谷歌什么的。所有我需要的是从某些网站的某些项目被搜索。

我有Java经验，我可以轻松地使用它，但我不是像你们这样的专业人员，请告诉我我是否在正确的方向上前进，以及我下一步应该做什么。

我使用的是Ubuntu10.10，我有Apache Tomcat7。

Answer 1

关于解析器，nutch有自己的一组解析器，您不必费心解析。触发crawl命令，自动完成。除非您想解析nutch提供的内容以外的内容，否则这对您来说不会是一个问题。如果您希望nutch解析一些。xyz文件，那么您需要为此编写解析器插件并与nutch集成。