当前位置: 首页 > 知识库问答 >
问题:

botocore s3把有问题散列文件由于编码?

翟承志
2023-03-14

我很难弄清楚为什么加载了编码utf-8的文件,其内容是"DELETE ME LATER",当botocore被哈希时,它会导致异常。

with io.open('deleteme','r', encoding='utf-8') as f:
  try:
    resp=client.put_object(
    Body=f,
    Bucket='s3-bucket-actual-name-for-real',
    Key='testing/a/put'
    )
    print('deleteme exists')
    print(resp)
  except:
    print('deleteme could not put')
    raise

生产:

deleteme无法将
回溯(最后一次调用):文件
“/test_operator.py”,第41行,在
Key='testing/a/put'File/Users/lamblin/VEnvs/awscli/lib/python3.6/site packages/botocore/client.py”中,
第312行,在_api_call
返回self_make_api_call(operation_name,kwargs)File“/Users/lamblin/VEnvs/awscli/lib/python3.6/site packages/botocore/client.py”,第582行,在make_api_call request_signer=self中_请求签名者,context=request\u context)文件
“/Users/lamblin/VEnvs/awscli/lib/python3.6/site packages/botocore/hooks.py”,第242行,直到响应
responses=self_emit(event_name,kwargs,stop_on_response=True)文件
“/Users/lamblin/VEnvs/awscli/lib/python3.6/site packages/botocore/hooks.py”,第210行,在_emit
response=handler(**kwargs)文件“/Users/lamblin/VEnvs/awscli/lib/python3.6/site packages/botocore/handlers.py”,第201行,在有条件的_calculate _md5
计算_md5(params,**kwargs)文件“/Users/lamblin/VEnvs/awscli/lib/python3.6/site packages/botocore/handlers.py”中,第179行
计算_md5
二进制_md5=_从_文件(body)文件“/Users/lamblin/VEnvs/awscli/lib/python3.6/site packages/botocore/handlers.py”,
第193行,在_中,从_文件md5计算_md5。更新(块)
类型错误:必须在哈希之前对Unicode对象进行编码

现在可以通过使用“rb”打开文件来避免这种情况,但是,文件对象f是否明显使用了编码?

共有1个答案

訾安邦
2023-03-14

现在,这可以通过用rb打开文件来避免,但是,文件对象f是否明显使用了编码?

指定给io的编码。在mode='r'中打开用于解码内容。因此,当您迭代f时,Python已经将内容从字节转换为str(文本)。

要直接与botocore接口,请使用模式'rb'打开文件,并删除编码kwarg。当为了传输内容而必须做的第一件事botocore只是再次编码回字节时,将其解码为文本是没有意义的。

 类似资料:
  • 本文向大家介绍Python文件散列,包括了Python文件散列的使用技巧和注意事项,需要的朋友参考一下 示例 哈希是将可变长度的字节序列转换为固定长度的序列的功能。出于多种原因,散列文件可能是有利的。哈希可以用于检查两个文件是否相同,或验证文件的内容是否未损坏或更改。 您可以用来hashlib为文件生成哈希: 对于较大的文件,可以使用固定长度的缓冲区:            

  • 我在PHP中有一个CSV字符串,它被mb_detect_编码检测为UTF8。此字符串将写入文件。当我在文本编辑器(程序员记事本)中打开它时,编辑器会说它是UTF8无标记的,当我将编码更改为ANSI时,它会在Excel中正确打开。我想用ANSI编写这个文件,这样在Excel中打开它之前就不必在文本编辑器中进行转换。尝试使用以下命令: utf8_解码($xhtml) iconv(“UTF-8”、“Wi

  • 有时(特别是在重新启动正在使用的计算机后,或在更新某些软件包后),当我<kbd>运行</kbd>代码时(通过IntelliJ中Android的React本机配置),我会遇到如下错误: 我目前正在做的是手动删除其中的几个构建文件夹(例如< code > 我对gradle不太熟悉,所以我不知道相关的gradle<code>clean<code>命令是否适用于这里。我不记得在Android Studio

  • 问题内容: 我在Java中构建了一个文件哈希方法,该方法采用a的输入字符串表示形式,然后计算该文件的哈希值。哈希可以是任何本机支持的Java哈希算法,例如through 。 我试图找出每一个性能下降的原因,因为这种方法是我正在研究的项目不可或缺的一部分。建议我尝试使用而不是常规。 我原来的方法: 重构方法: 两者都返回正确的哈希,但是重构的方法似乎只在小文件上起作用。当我传入一个大文件时,它完全阻

  • 我需要使用RSA方法给图片添加数字签名。为此,我首先需要用SHA256散列这个文件。但是如何做到这一点呢?按照我的理解,我应该得到一个字节hash[]的数组,里面有散列的字节。 例如在c#示例MD5中有这样一种方法:我像这样尝试过,但是我如何获得哈希数组以及如何更改最终哈希的大小?

  • 我尝试编译这个X11服务器文件: 但是,如果包含-,它将不会编译: 谢谢你抽出时间