当前位置: 首页 > 知识库问答 >
问题:

将一个流管道传输到S3.upload()

傅志文
2023-03-14

我目前正在使用一个名为s3-upload-stream的Node.js插件,将非常大的文件传输到Amazon S3。它使用multipart API,并且在很大程度上工作得很好。

是否有一种方法可以使aws-sdks3.upload()成为我可以将流管道传输到的东西?

共有1个答案

赏光霁
2023-03-14

将S3upload()函数与node.jsstream.passthrough()流包装起来。

这里有一个例子:

inputStream
  .pipe(uploadFromStream(s3));

function uploadFromStream(s3) {
  var pass = new stream.PassThrough();

  var params = {Bucket: BUCKET, Key: KEY, Body: pass};
  s3.upload(params, function(err, data) {
    console.log(err, data);
  });

  return pass;
}
 类似资料:
  • 问题内容: 我目前正在使用名为s3-upload-stream的node.js插件将非常大的文件流式传输到Amazon S3。它使用了多部分的API,并且在大多数情况下效果很好。 但是,该模块显示了它的年龄,我已经不得不对其进行修改(作者也已弃用了它)。今天,我遇到了另一个与亚马逊有关的问题,我真的很想接受作者的建议,并开始使用官方的aws- sdk完成上传。 但。 官方的SDK似乎不支持管道到。

  • 问题内容: 这是一个使用OpenCV的python绑定读取网络摄像头的简单示例: 现在,我想将输出通过管道传递给ffmpeg,如下所示: 可悲的是,我无法完全正确地实现ffmpeg魔咒,并且失败了 捕获的帧绝对是640x480。 我很确定OpenCV图像类型(IplImage)的像素顺序是GBR,每个通道一个字节。至少,这似乎是从相机上脱落的。 我不是ffmpeg大师。有人成功做到了吗? 问题答案

  • 问题内容: 我有一种情况,我需要从Node.js / Express RESTful API返回一个很大的对象,并将其转换为JSON字符串。 但是,这似乎无法很好地扩展。具体来说,它在连接1-2个客户端的测试机上运行良好,但我怀疑当许多客户端同时请求大型JSON对象时,此操作可能会浪费CPU和内存使用率。 我四处寻找一个异步JSON库,但是我发现的唯一一个库似乎有问题(特别是,我收到了[Range

  • 我目前正在尝试轻松地将消息从一个Kafka集群上的主题流式传输到另一个集群(远程)- 所以假设WordCount演示在另一台PC上的一个Kafka-Instance上,而不是我自己的PC上。我也有一个Kafka-Instance在我的本地机器上运行。 现在我想让WordCount演示在包含应该计算单词的句子的Topic(“远程”)上运行。 然而,计数应该写入我本地系统上的Topic而不是“远程”T

  • (编辑:我现在试图将[]字节数组传输到ffmpeg,但是ffmpeg没有填满我的缓冲区: 但我得到以下错误: [mov,mp4,m4a,3GP,3G2,mj2@0x7FF05D002600]流0,偏移量0x5Ded:部分文件

  • Kafka流中是否内置了允许将单个输入流动态连接到多个输出流的功能?允许基于true/false谓词进行分支,但这不是我想要的。我希望每个传入日志都确定它将在运行时流到的主题,例如,日志将流到主题和日志将流到主题。 我可以在流中调用,然后写给Kafka制作人,但这似乎不是很好。在Streams框架中是否有更好的方法来实现这一点?