如何检测字符串字节编码？

Question

我读取了大约1000个文件名os.listdir()，其中一些文件以UTF8编码，而某些文件为CP1252。

我想将它们全部解码为Unicode，以便在脚本中进行进一步处理。有没有一种方法可以使源编码正确解码为Unicode？

例：

for item in os.listdir(rootPath):

    #Convert to Unicode
    if isinstance(item, str):
        item = item.decode('cp1252')  # or item = item.decode('utf-8')
    print item

Answer 1

如果您的文件位于cp1252和中utf-8，则有一种简单的方法。

import logging
def force_decode(string, codecs=['utf8', 'cp1252']):
    for i in codecs:
        try:
            return string.decode(i)
        except UnicodeDecodeError:
            pass

    logging.warn("cannot decode url %s" % ([string]))

for item in os.listdir(rootPath):
    #Convert to Unicode
    if isinstance(item, str):
        item = force_decode(item)
    print item

否则，有一个字符集检测库。

Python-检测字符集并转换为utf-8

https://pypi.python.org/pypi/chardet