AWS Kinesis多部分上传至Amazon S3存储桶
我想从Kinesis多部分上传到我的Amazon S3存储桶。由于Amazon S3是一个文件系统，对于每个条目，它都会在给定的bucket名称下创建一个文件。
我的亚马逊S3为AWS粘合作业提供信息，因为只要亚马逊S3的特定文件夹中有新文件，它就会触发Lambda函数。对于流数据，每秒将有多个文件。
如何在 Kinesis 端控制文件的大小，以便 Kinesis 仅在达到特定阈值后推送 Amazon S3 存储桶上的数据？这样，每当我达到这个规模时，我就会触发我的工作。
共有1个答案
您可以使用 AWS 粘附触发器而不是 lambda。
例如，为胶水设置一个定时时间。
-
我试图用python写的lambda (aws)完成多部分上传。下面是我正在使用的代码。大约有120个部件，总大小为30GB。下面的操作似乎没有在5分钟内完成，因此lambda关闭，上传似乎没有完成。S3提供异步多部分上传功能吗？我相信这将确保文件得到合并，不管lambda关闭。
-
我正在尝试将自定义对象上载到Firebase Firestore，但Firestore对象应包含下载图像url。我必须这样做的想法是先上传图像，等待图像完成，获取下载url的引用，更新我的自定义类，然后将其上传到Firestore。然后，当最后一次上传（上传到Firestore）完成时，我想通知我的视图。我想通过返回一个任务来实现这一点。以下是我上传图片的方法： 我不确定如何返回Firstore上
-
好吧，我有一个使用AmazonS3 multipart的应用程序，它们使用CreateMultipart,UploadPart和CompleteMultiPart。 现在我们正在迁移到谷歌云存储，而我们在MultiPart上遇到了一个问题。据我所知，谷歌不支持s3多部分，从这里得到了谷歌云存储支持s3多部分上传的信息。 所以我看到google有最接近的方法Compose https://cloud
-
所以我尝试使用多部分上传将文件上传到谷歌云存储，方法是事先将文件分成块，然后通过http put请求发送。 问题是，当我上传文件的最后一个块时，我得到的是503错误，而不是200完整的消息。 为了简单起见，我使用的是驱动器中的jpeg图像，将其转换为blob和bytes： 根据文档，我首先请求一个可重复的上传URI。 这个很管用。 我开始将文件字节解析为256x1024字节块，并使用上传URL通过
-
目前我正在使用pdfbox下载我服务器上的所有pdf文件，然后使用pdfbox将它们合并在一起。它的工作非常好，但它非常慢--因为我必须下载所有的。 有没有一种方法可以直接在S3上执行所有这些？我正在试图找到一种方法来实现它，即使不是在Java也是在python中，也无法做到这一点。 我读到了以下内容: 在S3 Amazon上合并文件 null null 编辑 最后我使用 并用 实现它。我设置了最
-
我正在Spring controller中努力实现多部分文件上传。我读过很多问题，谷歌，但似乎什么都不管用。 我明白了 我的BE控制器： FE，angularJS： HTML: 还有应用程序。属性包括： 更新： 当我按照@Byeon0gam的建议从我的控制器中删除@RequestParam时，我不再会遇到这个错误，但是我的文件在控制器中是空的。虽然在FE服务中，如我所见，它不是空的：