使用谷歌云存储将数据从地面军事系统传输到s3

Question

我正在制作一个小应用程序，将数据从BigQuery导出到google云存储，然后将其复制到aws s3中，但在python中很难找到如何实现。

我已经在kotlin中编写了代码（因为这对我来说是最简单的，原因超出了我的问题范围，我们希望它在python中运行），在kotlin中，google sdk允许我从Blob对象获取InputSteam，然后我可以将其注入AmazonS3SDK的AmazonS3.putObject（String bucketName、String key、InputStream输入、ObjectMetadata元数据）。

使用pythonsdk我似乎只有将文件下载到文件和作为字符串的选项。

我想（就像我在kotlin中做的那样）传递一些从Blob对象返回的对象到Amazon3.putObject（）方法中，而不必先将内容保存为文件。

我绝对不是python专业人士，所以我可能错过了一个显而易见的方法。




Answer 1

匿名用户

我最终得到了以下解决方案，因为显然download_to_filename将数据下载到boto3 s3客户端可以处理的类似文件的对象中。

这对于较小的文件来说效果很好，但由于它将所有文件都缓冲在内存中，因此对于较大的文件来说可能会有问题。

def copy_data_from_gcs_to_s3(gcs_bucket, gcs_filename, s3_bucket, s3_filename):
gcs_client = storage.Client(project="my-project")

bucket = gcs_client.get_bucket(gcs_bucket)
blob = bucket.blob(gcs_filename)

data = BytesIO()
blob.download_to_file(data)
data.seek(0)

s3 = boto3.client("s3")
s3.upload_fileobj(data, s3_bucket, s3_filename)

如果有人有关于BytesIO以外的东西的信息/知识来处理数据（fx。所以我可以直接将数据流到s3，而不必在主机上的内存中缓冲它），这将是非常感激的。