Elasticsearch的Liquibase或Flyway数据库迁移替代方案

Question

我对ES很陌生。我一直在寻找数据库迁移工具，但找不到。我想知道是否有人能帮我指出正确的方向。

我会使用 Elasticsearch 作为项目中的主数据存储。我想对所有映射和配置更改/数据导入/数据升级脚本进行版本控制，这些脚本是我在项目中开发新模块时运行的。

过去，我使用Flyway或Liquibase等数据库版本控制工具。

有没有任何框架/脚本或方法可以与ES一起使用来实现类似的目标？

有没有人有过手动使用脚本和运行迁移脚本至少升级脚本的经验？

提前感谢！

Answer 1

从这个观点/需求来看，ES有一个巨大的局限性：

• 尽管具有动态映射，但ES不是无模式的，而是模式密集型的。如果此更改与现有文档冲突，则无法更改映射（实际上，如果任何文档具有新映射影响的 not-null 字段，这将导致异常）
• ES中的文档是不可变的：一旦你索引了一个文档，你只能在中检索/删除。围绕此的语法糖是部分更新，这使得线程安全的删除索引（具有相同的id）在ES端

这在你的问题中是什么意思？基本上，你不能拥有用于ES的经典迁移工具。以下是可以让您更轻松地使用ES的方法:

>

使用严格映射（“dynamic”：“strict”和/或index.mapper.dynamic:false，查看映射文档）。这将保护您的索引/类型免受

意外地用错误的类型动态映射

在数据映射关系中遗漏某些错误的情况下获得显式错误

您可以获取实际的ES映射，并将其与您的数据模型进行比较。如果你的PL有足够高水平的ES库，这应该很容易

您可以利用索引别名进行迁移

所以，有一点经验。对我来说，目前合理的流程是这样的：

< li >代码中描述为模型的所有数据结构。这个模型实际上也提供了ORM抽象。 < li >索引/映射创建调用是简单模型的方法。 < li >每个索引都有别名(即< code>news)，它指向实际索引(即< code > news _ index _ { revision } _ { date _ created } )。

每次部署代码时，您

1. 尝试放置模型（类型）映射。如果它是在没有错误的情况下完成的，这意味着你已经

• 放置相同的映射
• put映射是旧映射的纯超集（仅提供了新字段，旧字段保持不变）
• 没有文档在受新映射影响的字段中具有值

所有这些实际上意味着你可以很好地使用你拥有的映射/数据，就像往常一样使用数据。

• 使用新的映射创建新的索引/类型（如name{revision}{date}
• 将别名重定向到新索引
• 激发迁移代码，使批量请求快速重新编制索引在此重新编制索引期间，您可以通过别名安全地为新文档编制索引。缺点是历史数据在重新编制索引期间部分可用

这是经过生产测试的解决方案。关于这种方法的注意事项：

• 如果您的读取请求需要一致的历史数据，则不能这样做
• 您需要重新索引整个索引。如果每个索引有1个类型（可行的解决方案），那么没关系。但有时您需要多类型索引
• 数据网络往返。有时会很痛苦

总结一下：

• 尝试在您的模型中具有良好的抽象，这总是有帮助的
• 尝试保持历史数据/字段陈旧。只要记住这个想法来构建您的代码，这比一开始听起来更容易
• 我强烈建议避免依赖利用ES实验工具的迁移工具。这些可以随时更改，就像river-*tools所做的那样。