当前位置: 首页 > 知识库问答 >
问题:

从AWS S3转移到Google-云-存储"UNKNOWN"故障

宇文学博
2023-03-14

我正在使用GCS web仪表板/控制台中提供的传输工具来安排从S3到GCS的备份文件副本。

在GCS传输日志中,它显示UNKNOWN:(显示241个故障中的5个)。失败列表中显示的文件没有什么不同。同样的241个文件在每次计划的传输中失败。有没有地方我可以得到一个实际的错误消息?

我已经检查过:

  • 在这些失败之前和之后有超过150万成功复制的其他文件。这些失败不是在传输列表的开始或结束,也不是连续的。
  • 文件大小不是太大。失败传输的大小范围从100KB到7MB。
  • 文件名允许特殊字符,例如_-空格,这些字符存在于失败的传输和成功的传输中。
  • 失败的文件与成功传输的文件具有完全相同的权限。
  • 传输中使用的IAM用户策略将所有操作授予S3桶。
  • 使用s3cmd的相同访问令牌和秘密确认IAM策略。
  • 检查S3访问日志以获取更多信息/错误...显示成功传输和失败传输的超文本传输协议206状态。(不是我所期望的超文本传输协议状态,但成功和失败的传输情况相同)

共有1个答案

广楚
2023-03-14

有一些事情可能会导致未知错误。有些是服务中的暂时性问题(在这种情况下,您应该重新运行传输——第二次只复制新的/更改的对象)。

在其他情况下,它可能是源对象中的怪癖。例如,服务将拒绝不具有符合RFC 1341的Content-Type的对象。特别地,它需要与模式/相匹配,具有附加的限制。请参见HTTP"Content-Type"标头的所有可能值是什么?

 类似资料:
  • 我们将Google Cloud Datastore用于Google App Engine(GAE)应用程序。在我们的项目改造期间,我们希望将数据库从Datastore迁移到Google CloudSQL。 我们在数据存储中约有1 TB数据,不包括索引。 如何从数据存储迁移到云SQL,是否有任何现有的开源解决方案可用于此。 我已经检查了下面的一个https://cloud.google.com/da

  • BlobStore API(可以为GCS对象生成BlobKey,BlobStore文件API是不推荐的,但一次使用有效) Google Cloud Storage API(再次被否决,但一次使用有效) 谷歌云存储客户端库 谷歌云存储Python库 谷歌云存储JSON API库 博图 有什么理由用一个来代替另一个吗?

  • 我们在App Engine中有一个web应用程序。我想知道将我的静态资源(即图像、CSS文件和JS文件)从App Engine中移出,并从Google云存储中提供它们是否是一个好主意。 我在这里有两个想法: 1)我们可以利用谷歌云存储获得CDN的优势。我们甚至可以为每个文件配置元数据,以设置过期标题、gzip压缩等。此外,通过为来自不同域的文件提供服务,我们可以让浏览器并行下载更多内容。

  • 我有一个应用引擎连接的Android项目。目前,我正在使用Blobstore存储blob。这是它的工作原理 > Android调用我的App Engine服务器请求ServingURL 应用程序引擎使用服务URL响应android客户端 Android使用前面提到的服务URL将图像(多部分)加载到Blobstore Blobstore使用BlobKey和android发送到Blobstore的任何

  • 我正在创建一个web应用程序,使动画从框架。我使用opencv和VideoWriter来实现它。但有个问题。我想在Google App Engine上托管我的应用程序,所以我不能在上面保存文件。是否可以直接将VideoWriter视频输出到谷歌云商店,而不保存在机器上,或者我必须找其他库来实现?

  • 我有一个firebase帐户,我想以编程方式上传一些照片到firebase存储。为此,我使用了google cloud java storage API。我配置权限和其他权限。我可以成功地创建桶,斑点。然而,当我试图上传一张图片时,要么它的大小为0,要么它无法下载(不生成URL)。下面是我使用的代码; 任何建议都很感激。问候。