python 模块 chardet下载方法及介绍

来源：http://blog.csdn.net/aqwd2008/article/details/7506007

python 模块 chardet 下载及介绍

在处理字符串时，常常会遇到不知道字符串是何种编码，如果不知道字符串的编码就不能将字符串转换成需要的编码。面对多种不同编码的输入方式，是否会有一种有效的编码方式？chardet 是一个非常优秀的编码识别模块。

chardet 是 python 的第三方库，需要下载和安装。下载的地址有：

• 1.推荐地址： http://download.csdn.net/download/aqwd2008/4256178
• 2.官方地址：  http://pypi.python.org/pypi/chardet

如果采用源代码安装方法，有可能会提示缺少setuptools这个模块。因此这里我们采用另外一种更为方便的安装方法，不论你选择哪种安装包，将它解压得到其中的文件夹【chardet】将这个文件夹复制到【python安装根目录\Lib\site-packages】下，确保这个位置可以被 python 引用到。如果不能被引用到请加入环境变量。

在安装完 chardet 模块，我就可以使用它了，来看一段示例代码。

import chardet
from urllib import request

# 可根据需要，选择不同的数据
TestData = request.urlopen('http://www.baidu.com/').read()
print(chardet.detect(TestData))

# 运行结果：  
# {'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}

运行结果表示有99%的概率认为这段代码是 utf-8 编码方式。

另外一个相对高级的应用。

from urllib import request
from chardet.universaldetector import UniversalDetector

usock = request.urlopen('http://www.baidu.com/')

# 创建一个检测对象
detector = UniversalDetector()
for line in usock.readlines():
    # 分块进行测试，直到达到阈值
    detector.feed(line)
    if detector.done:
        break

# 关闭检测对象
detector.close()
usock.close()

# 输出检测结果
print(detector.result)

# 运行结果：
# {'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}

应用背景，如果要对一个大文件进行编码识别，使用这种高级的方法，可以只读一部，去判别编码方式从而提高检测速度。如果希望使用一个检测对象检测多个数据，在每次检测完，一定要运行一下detector.reset()。清楚之前的数据。