Storm爬虫中的ES查询异常

Question

我使用以下软件包Apache zookeeper 3 . 4 . 14 Apache storm 1 . 2 . 3 Apache Maven 3 . 6 . 2 elastic search 7 . 2 . 0(本地托管)Java 1.8.0_252 aws ec2中型实例，带4GB ram

我已经使用这个命令来增加jvm的虚拟内存(之前它显示了jvm没有足够内存的错误)

我已经创建了 maven 包 -
mvn archetype：generate -DarchetypeGroupId=com.digitalpebble.stormcrawler - DarchetypeArtifactId=storm-crawler-elasticsearch-archetype -DarchetypeVersion=LATEST

用于提交拓扑
Storm罐目标/newscrawler-1.0-SNAPSHOT.jarorg.apache.storm.flux.Flux--本地es-crawler.flux--睡眠30000的命令

当我运行这个命令时，它显示我的拓扑已成功提交，并且在elasticsearch状态索引中它显示FETCH_ERROR以及来自seeds.txt的url

内容索引在 Elasticsearch 中未显示任何命中数

在worker.log文件中有许多以下类型的html" target="_blank">异常-

java.net.ConnectException: Connection refused
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) ~[?:1.8.0_252]
at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:714) ~[?:1.8.0_252]
at org.apache.http.impl.nio.reactor.DefaultConnectingIOReactor.processEvent(DefaultConnectingIOReactor.java:174) [stormjar.jar:?]
at org.apache.http.impl.nio.reactor.DefaultConnectingIOReactor.processEvents(DefaultConnectingIOReactor.java:148) [stormjar.jar:?]
at org.apache.http.impl.nio.reactor.AbstractMultiworkerIOReactor.execute(AbstractMultiworkerIOReactor.java:351) [stormjar.jar:?]
at org.apache.http.impl.nio.conn.PoolingNHttpClientConnectionManager.execute(PoolingNHttpClientConnectionManager.java:221) [stormjar.jar:?]
at org.apache.http.impl.nio.client.CloseableHttpAsyncClientBase$1.run(CloseableHttpAsyncClientBase.java:64) [stormjar.jar:?]
at java.lang.Thread.run(Thread.java:748) [?:1.8.0_252]

2020-06-12 10:31:14.635 c. d. s. e. p. AggregationSpout Thread-46-spout执行器[17 17][INFO][spout#7]使用nextFetchDate填充缓冲区

worker.log中有以下与elasticsearch相关的日志

'禁止：org.elasticsearch.client。ResponseException：方法[POST]，主机[http://localhost:9200]，URI[/status/_search？typed_kkeys=true

'禁止：org.elasticsearch.client。ResponseException：方法[POST]，主机[http://localhost:9200]，URI[/status/_search？typed_kkeys=true

我已经检查了碎片的健康状况，它们处于绿色状态。

早些时候我使用的是Java 11，使用它我无法提交拓扑，所以我转到了Java 8。现在拓扑提交成功，但Elasticsearch中没有注入数据。

我想知道java和elasticsearch之间的版本不兼容或其他任何包是否存在问题。

Answer 1

使用种子文件的绝对路径，并在远程模式下运行它。本地模式应该主要用于调试。睡眠参数是(我认为)以毫秒为单位。上面的命令意味着拓扑将只运行30秒，这并没有给它太多的时间做任何事情。