apache.httpclient能够获取内容时，JSoup.connect引发403错误

Question

我正在尝试解析任何给定页面的HTML转储。我使用了HTML
Parser
，还尝试了JSoup进行解析。

我在Jsoup中找到了有用的功能，但调用时却收到403错误 Document doc = Jsoup.connect(url).get();

我尝试使用HTTPClient来获取html转储，并且对于相同的url成功。

为什么JSoup会为403提供相同的URL，而该URL正在提供来自Commons HTTP客户端的内容？难道我做错了什么？有什么想法吗？

Answer 1

可行的解决方案如下（感谢Angelo Neuschitzer提醒您将其作为解决方案）：

Document doc = Jsoup.connect(url).userAgent("Mozilla").get();
Elements links = doc.getElementsByTag(HTML.Tag.CITE.toString);
for (Element link : links) {
            String linkText = link.text();
            System.out.println(linkText);
}

因此， userAgent 可以解决问题:)