AWS Cloudsearch可伸缩吗？

Question

我有500MB的数据要推送到云搜索。

以下是我尝试过的选项：

直接从控制台上传：

试图上传文件时，有5 MB的限制。

然后将文件上传到S3并选择S3选项，

上传到S3并在控制台中给出S3 url：

失败并要求尝试命令行。

尝试使用命令行

aws cloudsearchdomain上载文档--endpointurlhttp://endpoint--内容类型application/json--文档s3://bucket/cs。json

Error parsing parameter '--documents': Blob values must be a path to a file.

好的，将文件从s3复制到本地并尝试上传，

用本地文件和cli尝试：

aws cloudsearchdomain上载文档--endpointurlhttp://endpoint--内容类型应用程序/json--文档/反恐精英。json

在我们从endpointURL收到有效响应之前，连接已关闭：http://endpoint/2013-01-01/documents/batch?format=sdk".

要让CloudSearch工作吗？

Answer 1

据我所知，这并不是关于Cloudsearch根据问题标题的可伸缩性，而是关于上传的限制，以及如何将大文件上传到Amazon Cloudsearch。

最佳解决方案是通过分块上传数据。将您的文档拆分为多个批次，并批量上载数据。（但请记住相关的限制）

这样做的好处是，如果要提交多个文档，请在一次调用中提交所有文档，而不是总是提交大小为1的批。AWS建议分组（最多5MB）并发送一个电话。我认为，每1000次通话需要花费你0.10美元，所以分组也能为你节省一些钱。

这对我有用。下面给出一些指导方针来帮助更好地解决这个问题。

将数据上传到Amazon Cloudsearch时要遵循的指导原则。

>

在上传文档之前，将文档分组。持续上传只包含一个文档的批对Amazon CloudSearch处理更新的速度有巨大的负面影响。相反，创建尽可能接近限制的批次，并减少上传频率。（限制如下所述）

要将数据上载到域，必须将其格式化为有效的JSON或XML批处理

现在，让我解释一下亚马逊云搜索与文件上传相关的限制。

1） 批量大小：

最大批量大小为5 MB

2） 文件大小

最大文档大小为1 MB

3）文档字段

文档的字段不能超过200个

4） 数据加载量

您可以每10秒加载一个文档批（大约每24小时加载10000批），每个批大小最多为5MB。

但如果你想增加限制，可以联系亚马逊CloudSearch。目前，亚马逊不允许增加上传大小限制。

如果需要增加搜索域的最大分区数，可以提交请求。有关增加搜索域最大数量等其他限制的信息，请联系Amazon CloudSearch。