chardet这个第三方库的使用非常容易,chardet支持检测中文、日文、韩文等多种语言。
字符串编码一直是令人非常头疼的问题,尤其是我们在处理一些不规范的第三方网页的时候。虽然Python提供了Unicode表示的str和bytes两种数据类型,并且可以通过encode()和decode()方法转换,但是,在不知道编码的情况下,对bytes做decode()不好做。
对于未知编码的bytes,要把它转换成str,需要先“猜测”编码。猜测的方式是先收集各种编码的特征字符,根据特征字符判断,就能有很大概率“猜对”。
官方文档:https://chardet.readthedocs.io/en/latest/
github地址:https://github.com/chardet/chardet
安装:pip3 install chardet
截至目前,可以检测的编码:
当我们拿到一个bytes时,就可以对其检测编码。用chardet检测编码,只需要一行代码:
import chardet
print(chardet.detect(b'Hello, world!'))
# 运行结果
# 检测出的编码是ascii,注意到还有个confidence字段,表示检测的概率是1.0(即100%)。
{'encoding': 'ascii', 'confidence': 1.0, 'language': ''}
import chardet
data = '真相只有一个'.encode('gbk')
print(chardet.detect(data))
# 运行结果
# 检测的编码是GB2312,注意到GBK是GB2312的超集,两者是同一种编码,检测正确的概率是99%,
# language字段指出的语言是'Chinese'。
{'encoding': 'GB2312', 'confidence': 0.99, 'language': 'Chinese'}
import chardet
data = '真相只有一个'.encode('utf-8')
print(chardet.detect(data))
# 运行结果
{'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}
import chardet
data = '真実はいつもひとつ'.encode('euc-jp')
print(chardet.detect(data))
# 运行结果
{'encoding': 'EUC-JP', 'confidence': 1.0, 'language': 'Japanese'}
可见,用chardet检测编码,非常简单。获取到编码后,再转换为str,就可以方便后续处理。