jsoup的奇怪编码行为

Question

我使用jsoup从不同页面的html源代码中提取了一些信息。它们大多数是UTF-8编码的。其中之一是使用ISO-8859-1编码的，这会导致一个奇怪的错误（在我看来）。

包含错误的页面是：http : //www.gudi.ch/armbanduhr-
metall-
wasserdicht-1280x960-megapixels-p-560.html

我用以下代码阅读了所需的String：

Document doc = Jsoup.connect("http://www.gudi.ch/armbanduhr-metall-wasserdicht-1280x960-megapixels-p-560.html").userAgent("Mozilla").get();
String title = doc.getElementsByClass("products_name").first().text();

问题是字符串“ HD Armbanduhr aus Metall 4GB Wasserdicht 1280X960 – 5
Megapixels”中的连字符。像öäü这样的正常变音符号可以正确读取。仅此单个字符，不会输出为“＆＃45;” 造成了问题。

我试图用out.outputSettings（）。charset（“ ISO-8859-1”）覆盖（正确设置的）页面编码，但是那也没有帮助。

接下来，我尝试将Charset类的字符串的编码手动更改为utf8和iso-8859-1。也没有运气。

有没有人提示我用jsoup解析html文档后可以尝试获得正确的字符？

谢谢

Answer 1

这是网站本身的错误。实际上是三个错误：

1. 该页面在HTTP 响应标头中 不带 任何字符集的 情况下提供Content-Type。有ISO-8859-1在HTML meta标签，但在页面都通过HTTP这个被忽略！一般的网络浏览器将尝试智能检测或使用平台默认编码对网页进行编码，该网页在Windows计算机上为CP1252。

2. 该<meta>标签假装内容编码ISO-8859-1，但实际的字符–（U + 2013 EN DASH）是 不能 覆盖由字符集的。但是，CP1252字符集将其覆盖为0x0096。

3. 根据网页源代码，产品名称使用原义字符–而不是HTML实体–，而HTML实体是在同一网页上其他位置发现的。

Jsoup可以透明地修复许多不良开发的网页，但这确实超出了Jsoup的范围。您需要手动读取它，然后将其作为CP1252馈入Jsoup。

String url = "http://www.gudi.ch/armbanduhr-metall-wasserdicht-1280x960-megapixels-p-560.html";
InputStream input = new URL(url).openStream();
Document doc = Jsoup.parse(input, "CP1252", url);
String title = doc.select(".products_name").first().text();
// ...