美丽的汤和Unicode问题

Question

我正在使用BeautifulSoup解析一些网页。

有时，我会遇到如下所示的“ unicode hell”错误：

在TheAtlantic.com上查看本文的来源[
http://www.theatlantic.com/education/archive/2013/10/why-are-hundreds-of-
harvard-students-studying-ancient-chinese-philosophy/ 280356
/
]

我们在og：description meta属性中看到了这一点：

<meta property="og:description" content="The professor who teaches&nbsp;Classical Chinese Ethical and Political Theory claims, &quot;This course will change your life.&quot;" />

当BeautifulSoup解析它时，我看到了：

>>> print repr(description)
u'The professor who teaches\xa0Classical Chinese Ethical and Political Theory claims, "This course will change your life."'

如果我尝试将其编码为UTF-8，则这样的注释建议：https
:
//stackoverflow.com/a/10996267/442650

>>> print repr(description.encode('utf8'))
'The professor who teaches\xc2\xa0Classical Chinese Ethical and Political Theory claims, "This course will change your life."'

就在我以为我的所有unicode问题都得到控制的时候，我还是不太了解发生了什么，所以我要提出几个问题：

1-为什么BeautifulSoup会将转换 为\xa0[拉丁字符集空格字符]？此页面上的字符集和标题为UTF-8，我以为BeautifulSoup会提取该数据进行编码？为什么不将其替换为<space>？

2-有一种通用的方式来标准化空格以进行转换吗？

3-当我编码为UTF8时，\xa0的序列在\xc2\xa0哪里？

我可以通过所有方法unicodedata.normalize('NFKD',string)来帮助我到达自己想去的地方，但是我很想了解问题所在，并避免以后再出现此类问题。

Answer 1

您没有遇到任何问题。一切都按预期进行。

 表示不间断的空格字符。它不会被空格代替，因为它不代表空格。它代表着一个不间断的空间。用空格代替它会丢失信息：在该空格出现的地方，文本呈现引擎不应放置换行符。

不间断空格的Unicode代码点是U + 00A0，它在Python中以Unicode字符串形式编写为\xa0。

U + 00A0的UTF-8编码为十六进制的两个字节序列C2
A0，或以Python字符串表示形式编写\xc2\xa0。在UTF-8中，超出7位ASCII集的任何内容都需要两个或更多字节来表示。在这种情况下，最高位设置为第八位。这意味着它可以由两字节序列（二进制）表示110xxxxx 10xxxxxx，其中x是代码点的二进制表示形式的位。如果是A0，则为10000000，或者使用UTF-811000010 10000000或C2
A0进行编码。

许多人使用 HTML来获取通常的HTML空白折叠规则不会折叠的空间（在HTML中，除非应用了CSSwhite- space规则之一，否则所有连续的空格，制表符和换行符都将被解释为单个空格），但这并不是他们真正想要的。它们应该用于诸如“宫城先生”之类的名字，而您不希望在“先生”之间使用换行符。和“宫城”。我不确定为什么在这种特殊情况下使用它。它似乎在这里不合适，但这更多是源代码的问题，而不是解释它的代码。

现在，如果您不太在意布局，那么您就不必在乎文本布局算法是否选择将其作为包装的地方，而只想将其解释为常规空间，使用NFKD进行标准化是非常合理的答案（如果您更喜欢预合成的重音而不是分解的重音，则为NFKC）。该NFKC和NFKD归一映射字符，以便扩展在大多数上下文中表示基本相同语义值的大多数字符。例如，扩展连字（ffi->
ffi），将过时的long s字符转换为s（ſ-> s），将罗马数字字符扩展为它们的单个字母（Ⅳ->
IV），并且不间断空格转换为正常空间。对于某些字符，NFKC或NFKD归一化可能会丢失在某些情况下很重要的信息：ℌ和ℍ都将归一化为H，但在数学课本中可以用来指代不同的事物。