ES到板条箱数据传输

Question

我想将数据从ES（1.0.0）迁移到板条箱（当前可用的版本0.26.0）以将其检出，我该怎么办？我该如何处理索引，ES索引适合Crate吗？

人们可能会想到以下几种流程：

1. 平稳过渡，例如，当我使用ES + Crate节点进行混合群集时，至少要复制一个副本，然后一一杀死ES节点。
2. 我们正在通过“ elasticsearch-cloud-aws”插件进行备份，是否可以“还原”快照，但是使用Crate节点而不是本机ES节点？

还有其他变种来传输大块数据（例如1TB）吗？

谢谢。

Answer 1

自0.24.0起，Crate使用的是ES 1.0.1，因此，lucene索引是兼容的。

这意味着您描述的“平稳过渡”流程应该起作用。（但是我实际上没有尝试过）。

但是，只要集群中有非板条节点，对板条的SQL查询就不会起作用，因为常规的ES节点不知道如何处理请求。

您可能还应该了解的其他一些事情可能会引起麻烦：

Crate用0.25.0引入了显式数组类型。这意味着，如果使用例如create table test (id integer ...)id字段创建新表，则将使用前一段时间添加到lucene的新doc_values字段格式。如果要使用数组，则必须使用SQL（具有类似类型的定义array(integer)）创建表。

如果您尝试查询使用elasticsearch插入的数据，则可能会得到奇怪的结果，或者如果字段包含数组但缺少架构定义中的声明，则会遇到错误。

希望这个对你有帮助。不幸的是，我无法为您提供有关html" target="_blank">elasticsearch-cloud-aws插件的答案，但也许其他人可以。