在Elasticsearch中高效地删除旧文档
我正在Elasticsearch中存储应用程序日志。我想删除超过N个月的日志。该应用程序使用索引名称my-log-index来写入日志。什么是最有效的方法？我找到了一些方法，但不确定什么是最好的方法：
- 使用查询API删除。定期运行此操作
第一种方法使用昂贵的删除。此外，它只能软删除。第二个看起来更有效。哪一个更好或者有更好的方法？
Elasticsearch版本：6.2.3（我知道它是EOL，但现在无法升级）
共有1个答案
-
问题内容： 我的许多日志都以logstash-Year- Week格式编制索引。那就是如果我想删除超过几周的索引，如何在elasticsearch中实现。有没有简单，无缝的方法可以做到这一点？ 问题答案： 策展人将是这里的理想之选。您可以在这里找到链接-https: //github.com/elastic/curator 如下所示的命令应该可以正常工作- 您可以将其保留在CRON中，以偶尔删除索
-
我们正在使用AWS弹性搜索日志。日志通过Logstash连续流式传输。定期删除旧索引的最佳方法是什么？ 我搜索了一下，推荐的各种方法有： > 使用lambda删除旧索引-https://medium.com/@egonbraun/perioadly-cleaning-ellasticsearch-indexes-using-aws-lambda-f8df0ebf4d9f 使用计划的docker容器
-
我想删除来自logstash的弹性搜索中的旧日志。 我读过关于馆长可以用来删除这个。 但它总是指出，它将删除比这么多天都旧的指数。如果我执行它，它真的会删除我的索引吗？或者只是那个特定索引中的旧日志。 我有自定义索引，如a、b、c等。我的索引中没有时间字符串参数。 策展人删除索引-早于14-时间单位天-时间字符串%Y.%m.%d-regex'^logstash-' 如何执行删除这些格式的索引。？
-
我有很多上面格式的日志，我想删除旧日志（比如超过5天的日志），方法是（在上面的日志（2019.02.13))范围内）。我已经通过查询进行了删除日志的查询。 我得到了以下错误： <代码>[解析\u异常]没有为[@时间戳]注册的[查询]，且{行=1 注意：我使用NestJS调用elasticsearch api，并使用elasticsearch[6.4]。我不想使用elasticsearch策展人。
-
问题内容： 我创建具有指定文档类型“ mytype”的索引“ myindex”。我可以删除索引，但是似乎“ mytype”仍然存在而没有与索引绑定。 如何摆脱“ mytype”？ 问题答案： 如果您确实删除了索引，则该索引中的映射将不再存在。集群中是否还有其他具有相似类型名称的索引？ 要回答问题：，请使用Delete Mapping API ： 编辑 ：从elasticsearch 2.0，将不再
-
本文向大家介绍高效快速地删除 mysql 重复数据，包括了高效快速地删除 mysql 重复数据的使用技巧和注意事项，需要的朋友参考一下 MYSQL数据库中单表有几百万数据，使用几种delete方法删除重复的数据耗时比较长，运行语句，半天出不来，甚至出现服务器内部错误。 mysql 给表添加唯一索引 完成重复记录删除 不希望数据表中有重复记录的时候我们可以给表添加一个联合唯一索引 例如，user表中