当前位置: 首页 > 知识库问答 >
问题:

如何修复坚果爬行器中已存在的.locked?

邹玄裳
2023-03-14

我是nutch的初级用户。当我用bin/nutch抓取命令重新抓取时,我得到一个。锁定已经存在。

以下是我的例外。链接反转

/home/crawler_user/apache-nutch-1.14/bin/nutch invertlinks/data/crawlor_user/nutch/crawled-data/linkdb/data/crawle_user/nutch/crawled-data/segments/20190423100709 linkdb:java.io。IOException:锁定文件/data/crawler_user/nutch/crawled-data/linkdb/。锁定的已存在。位于org.apache.nutch.crable.LinkDb.main(LinkDb.java:297)位于org.aapache.hadoop.util.ToolRunner.run(ToolRunner.java:70 he-nutch-1.14/bin/nutch反向链接/data/crawler_user/nutch/crawled-data/linkdb/data/crawle_user/nutch/crawled-data/segments/20190423100709失败,退出值为255。

共有1个答案

盖和泰
2023-03-14

假设您实际上没有同时运行另一个Nutch进程(它没有真正锁定),那么删除/data/crawler_user/Nutch/crawled-data/linkdb/应该是安全的。锁定文件。这通常意味着此阶段的前一次运行(invertlinks)没有成功完成。

 类似资料:
  • 问题内容: 在使用nutch和elasticsearch进行爬网时面临一些严重的问题。 我们的应用程序中有两个数据存储引擎。 的MySQL elasticsearch 可以说我在mysql db的urls表中存储了10个url。现在,我想在运行时从表中获取这些url,并将其写入seed.txt以进行爬网。我已经将所有这些网址一次性写入了txt。现在,我开始抓取,然后将这些文档在elasticsea

  • 我使用的是flutter v1.7.8+hotfix.3。我正在创建新用户,并在firestore数据库上添加他们的详细信息。当我第一次添加用户时,它工作得很好。当我试图添加另一个新用户时,我得到以下错误,应用程序崩溃: E/CloudFireStoReplugin(11070):等待任务E/CloudFireStoReplugin(11070):java.util.concurrent.Time

  • 我想用蜘蛛爬虫代码来获取一些房地产数据。但它一直给我这个错误: 回溯(最近一次呼叫最后一次): 文件“//anaconda/lib/python2.7/site packages/twisted/internet/defer.py”,第1301行,in_inlineCallbacks result=g.send(result) 文件“//anaconda/lib/python2.7/site pa

  • 问题内容: 我创建了一个容器,因此它不是交互式的。 我看到容器已退出: 现在,我想在计算机上偶尔运行命令并退出。只是为了得到回应。 我试图启动机器。我尝试附加。我以为我可以用一个容器打电话,但这似乎是不允许的。使用似乎可以运行,然后迅速存在。 我想退出后回到互动模式。 我试过了: 但是我得到: 但是,如果我启动它,它仍然会退出。赶上22.我赢不了。 问题答案: 在2014年10月,Docker团队

  • 我看到容器已经退出: 现在我想偶尔在机器上运行命令并退出。只是为了得到回应。 我试着开动机器。我试着连接。我以为可以用容器调用,但这似乎不允许。使用似乎只是运行然后快速存在。

  • 我有一个集合,每个用户都有自己的文档。现在,我想创建一个子集合来存储与特定用户相关的更多数据。 到目前为止,我的代码如下所示: 如何将数据存储在子集合中? 编辑我创建了一个新的保存函数,但firestore创建了一个名为“uid”的新文档,而不是使用当前uid将数据存储在文档的子集合中。如何解决这个问题?