从Google云数据存储迁移到Google云SQL

Question

我们将Google Cloud Datastore用于Google App Engine（GAE）应用程序。在我们的项目改造期间，我们希望将数据库从Datastore迁移到Google CloudSQL。

我们在数据存储中约有1 TB数据，不包括索引。

如何从数据存储迁移到云SQL，是否有任何现有的开源解决方案可用于此。

我已经检查了下面的一个https://cloud.google.com/datastore/docs/export-import-entities，这对在数据存储和sql之间迁移数据没有帮助

谢啦

Answer 1

您可以使用Cloud Datastore to JSON数据流模板导出到JSON文件，然后运行脚本将JSON文件读入云SQL。

Answer 2

有不同的方法来管理它，我认为最简单的方法是像吉姆·莫里森所说的那样，使用云数据存储到JSON数据流模板。同样，这种方法也有不同的可能性：

首先使用该命令将公共模板下载到本地：

 gsutil cp gs://dataflow-templates/latest/Datastore_to_GCS_Text .

（小心不要删除最后一个. that你可以换到你想下载它的目录）

然后，正如Jim Morrison在他的回答中解释的那样，编辑下载的文件，并使用自己的[1]更改模板参数。

完成后，再次将其上传到自己的存储桶中。例如：

gsutil cp Datastore_to_GCS_Text gs://datastore_to_cloudsql/template/

然后您可以使用GCP控制台运行作业（通过使用自定义模板从模板创建作业）[2]

当您有JSON文件时，将其转换为CSV并将其导入云SQL[3]。此外，也许您想添加一个函数，因为模板参数允许[1]直接将导出的数据转换为CSV格式，而不是JSON文件。

提供的JSON格式是一个文档，其中填充了这样的行，我对其进行了格式化以使其更清晰：

{
  "key":{"partitionId":{"projectId":"MY_PROJECT_ID"},
  "path":[{"kind":"MY_KIND_NAME","id":"4814888656437248"}]},
  "properties":{
    "MY_FIRST_COLUMN":{"integerValue_FOR_EXAMPLE":"3_INT_VALUE_EXAMPLE"},
    "SECOND_COLUMN":{"stringValue_FOR_EXAMPLE":"foobarfoobarfoobar_FOR_EXAMPLE"},
    "THIRD_COLUMN":{"stringValue_FOR_EXAMPLE":"foobar_FOR_EXAMPLE"}
  }
}

1：https://cloud.google.com/dataflow/docs/templates/provided-templates#cloud-datastore-to-cloud-storage-text

2：https://cloud.google.com/dataflow/docs/templates/executing-templates#using-the-gcp-console

三：https://cloud.google.com/sql/docs/mysql/import-export/importing#importing_csv_files_to_title_short