当前位置: 首页 > 知识库问答 >
问题:

无法对elasticsearch中的大文件进行批量索引

赫连卓
2023-03-14

[2016-01-08 15:06:49,354][WARN][http.netty][Marvel Man]在处理客户端http tra ffic时捕获异常,关闭连接[ID:0x2D26BAEC,/0:0:0:0:0:0:0:0:0:1:58923=>/0:0:0:0:1:9200]org.jboss.netty.handler.codec.frame.ToolongFrameException:http内容长度超过104857600html" target="_blank">字节。在org.jboss.netty.handler.codec.http.httpchunkaggregator.messageReceed(httpchunkaggregator.java:169)在org.jboss.netty.channel.simplechannelupstreamhandler.handleUpstream(simplechannelupstreamhandler.java:70)在org.jboss.netty.channel.defaultchannelpipeline.java:564)在org.jboss.netty.defaultchannelpipeline.sendupstream er.codec.http.httpContentDecoder.messageReceed(httpContentDecoder.java:135)在org.jboss.netty.channel.SimpleChannelupStreamHandler.handleUpstream(simpleChannelupStreamHandler.java:70)在org.jboss.netty.channel.defaultChannelPipeline.sendupStream(defaultChannelPipeline.java:564)在Java:296)位于org.jboss.netty.handler.codec.frame.frameDecoder.unfolDandFireMessageReceed(frameDecoder.java:459)在org.jboss.netty.handler.codec.replayingDecoder.calldecode(replayingDecoder.java:536)在org.jboss.netty.handler.codec.replayingDecoder.messageReceed(replayingDecoder.java:435)在defaultChannelPipeline$defaultChannelHandlerContext.SendupStream(DefaultChannelPipeli ne.java:791)在org.ellasticsearch.common.netty.openchannelShandler.handleUpster(OpenChannelShandler.java:75)在org.jboss.netty.channel.defaultChannelPipeline.sendupStream(DefaultChannelShandler.java:564)在268)在org.jboss.netty.channel.channels.firemessageReceed(Channels.java:255)在org.jboss.netty.channel.socket.nio.nioworker.read(nioworker.java:88)在org.jboss.netty.channel.socket.nio.abstractnioworker.process(abstractnioworker.process)在org.jboss.netty.channel.abstractnioselector.run(abstractnioselector.run(abstractnioselector.java:108)在在org.jboss.netty.util.threadrenamingrunnable.run(threadrenamingrunnable.java:108)在org.jboss.netty.util.internal.deadlockproofworker$1.run(deadlockproofworker.java:42)在java.util.concurrent.threadpoolexecutor.runworker(threadpoolexecutor.java:1142)在java.util.concurrent.threadpoolexecutor$worker.run

谁能帮我理解这里发生了什么,以及我如何解决这个问题?

共有1个答案

令狐和裕
2023-03-14

您必须增加内容上传长度,默认为100MB。转到配置文件夹中的ElasticSearch.yml

添加/更新-

http.max_content_length:300m

 类似资料:
  • 我有如下elasticsearch文档,其中我需要根据creationtime currentdate更正年龄值 年龄=创建时间-当前日期 : 我想根据每个文档ID进行批量更新,但问题是我需要更正6个月的数据 有没有一种方法可以做到这一点,而不是循环遍历,我遇到的所有使用Pandas数据帧进行更新的示例都是基于已知值的。但是在这里_id我将在代码运行时得到。 我写的逻辑是获取所有文档 谁能给我一些

  • 背景资料 我正在开发一个API,允许用户传递关于成员的详细信息列表(姓名,电子邮件地址,...)我想使用这些信息与我的Elasticsearch数据库中的帐户记录进行匹配,并返回潜在匹配的列表。 我以为这将是简单的做一个bool查询领域我想要的,但是我似乎没有得到任何点击。 我对Elasticsearch比较陌生,我当前的搜索请求如下所示。 查询示例 POST/member/account/\u搜

  • 问题内容: 我想使用ElasticSearch搜索文件名(而不是文件的内容)。因此,我需要找到文件名的一部分(完全匹配,没有模糊搜索)。 示例: 我有以下名称的文件: 现在,我要搜索以获取前两个文件。 搜索或应返回除最后一个文件名以外的所有文件名。 如何使用ElasticSearch做到这一点? 这是我测试过的,但始终返回零结果: 问题答案: 您粘贴的内容存在各种问题: 1)不正确的映射 创建索引

  • 问题内容: 我正在尝试将JSON文件批量索引到新的Elasticsearch索引中,但无法这样做。我在JSON中有以下示例数据 我在用 当我尝试使用Elasticsearch的标准批量索引API时,出现此错误 任何人都可以帮助索引这种类型的JSON吗? 问题答案: 您需要做的是读取该JSON文件,然后使用端点期望的格式构建一个批量请求,即,一行用于命令,一行用于文档,并用换行符分隔…冲洗并重复以下

  • 问题内容: 是否有Elasticsearch插件可以让我对输入索引的文档进行分类? 对我而言,最好的解决方案是对所有最经常出现的术语(/概念)进行分类,以一种用户可以浏览的标签云显示。 有没有办法做到这一点?有什么建议? 谢谢 问题答案: 基本思想是使用聚合,每项将产生一个存储桶。 您将获得的响应将通过减少术语出现次数来排序: 如果您正在使用Kibana,则可以基于这些术语直接创建标签云可视化。

  • 我正在准备一个带有elasticsearch的站内搜索引擎,我是elasticsearch的新手。将使用此引擎的站点为土耳其语/英语。 在土耳其,我们有像 'ğ', 'ü', 'ş', 'ı', 'ö', 'ç'. 这样的土耳其字母,但是当我们通常搜索时,我们会使用字母“g”、“u”、“s”、“i”、“o”、“c”。这不是一个规则,但我们通常会这样做,像习惯一样思考,这是我们过去习惯的。 现在,我