当前位置: 首页 > 面试题库 >

获取Python可以编码为的所有编码的列表

夏祺然
2023-03-14
问题内容

我正在编写一个脚本,尝试在Python 2.6中尝试将字节编码为许多不同的编码。有什么方法可以获取可供迭代的可用编码列表?

我尝试执行此操作的原因是因为用户的某些文本编码不正确。有有趣的人物。我知道将它弄乱的Unicode字符。我希望能够给他们一个答案,例如“您的文本编辑器将该字符串解释为X编码,而不是Y编码”。我以为我会尝试使用一种编码对该字符进行编码,然后使用另一种编码再次对其进行解码,然后看看我们是否得到相同的字符序列。

即是这样的:

for encoding1, encoding2 in itertools.permutation(encodinglist(), 2):
  try:
    unicode_string = my_unicode_character.encode(encoding1).decode(encoding2)
  except:
    pass

问题答案:

不幸的encodings.aliases.aliases.keys()是,这不是一个适当的答案。

aliases(正如一个人所期望的那样)包含几种情况,其中不同的键被映射到相同的值,例如1252并且windows_1252都被映射到cp1252。如果不aliases.keys()使用,可以节省时间set(aliases.values())

但是存在一个更糟糕的问题:aliases不包含没有别名的编解码器(例如cp856,cp874,cp875,cp737和koi8_u)。

>>> from encodings.aliases import aliases
>>> def find(q):
...     return [(k,v) for k, v in aliases.items() if q in k or q in v]
...
>>> find('1252') # multiple aliases
[('1252', 'cp1252'), ('windows_1252', 'cp1252')]
>>> find('856') # no codepage 856 in aliases
[]
>>> find('koi8') # no koi8_u in aliases
[('cskoi8r', 'koi8_r')]
>>> 'x'.decode('cp856') # but cp856 is a valid codec
u'x'
>>> 'x'.decode('koi8_u') # but koi8_u is a valid codec
u'x'
>>>

另外值得一提的是,无论你获得的编解码器的完整列表,它可能是一个好主意,忽略/是不是编码解码字符集的编解码器,但做一些其他的改造如zlibquopribase64

这使我们想到了为什么要“尝试将字节编码为许多不同的编码”的问题。如果我们知道,我们也许可以引导您走向正确的方向。

首先,这是模棱两可的。一种将字节DE编码成unicode,另一种EN编码unicode成字节。您想做什么?

您真正要实现的目标是:您是否要确定要使用哪个编解码器来解码某些传入字节,并计划尝试使用所有可能的编解码器?[注意:latin1将解码任何内容]您是否正在尝试通过尝试使用所有可能的编解码器对其进行编码来确定某些unicode文本的语言?[注意:utf8将对任何内容进行编码]。



 类似资料:
  • 问题内容: 我有一个看起来像这样的python列表: 现在,我想将其编码为UTF-8。因此,尽管我应该使用: 但是打印清单仅给出 表示列表的第一个元素。甚至没有列表了。我究竟做错了什么? 问题答案:

  • 问题内容: 我正在尝试学习如何“压缩”列表。为此,我有一个程序,在某个特定位置执行以下操作: 这给了我三个列表,,,和,每一个,比方说,大小为20。 现在,我这样做: 但是,当我这样做时: 我得到20,这不是我期望的。我预计三个。我认为我做的事情根本上是错误的。 问题答案: 将三个包含20个元素的列表放在一起时,结果将包含20个元素。每个元素都是一个三元组。 你自己看: 要找出每个元组包含多少个元

  • 我在列表中有一个列名称,我想对列表中的列中的值进行热编码。我想从数据集中对分类变量进行编码。我尝试了几个过程,但它给我带来了一个错误 它抛出的错误 回溯(最后一次调用):文件“preprocessing.py”,第83行,trainig_set_ed[col]=clfs[col].fit_transform(trainig_set_ed[col])文件“/root/.local/lib/pytho

  • 本文向大家介绍python 获取网页编码方式实现代码,包括了python 获取网页编码方式实现代码的使用技巧和注意事项,需要的朋友参考一下 python 获取网页编码方式实现代码  然后import chardet 下面写了一个自动化检测的函数供检测Url连接,然后返回网页url的编码方式。 上面用到了chardet类的detect方法,返回字典,然后取出编码方式encoding 感谢阅读,希望能

  • 有没有办法通过lat和液化天然气从mapbox API V5获取每个城市的所有街区。 例如,如果我使用长滩的lat和lng进行搜索-118.1937, 33.7701 我期望要回所有的街区,相反,我只要回"place_name的一个结果:"Downtown, Long Beach, California 90802, United America"" 我更改了响应限制和绑定框,但没有结果。 这是m

  • 我们有一个由两种不同的编码数据(utf8和latin1)组成的表,这两种编码数据是从两个不同的应用程序用例中插入的。如果我们以一种编码获得数据,我们会遇到其他语言文本的字符串问题。我们需要将总的表数据转换为单一编码。 例如:表X编码的id名称数据 如果我们使用“latin1”连接字符集,我们会遇到“ébarber”(断字符串)的问题。如果我们使用“utf8”连接字符集,我们就会遇到“a gogo”