Jsoup返回404错误

Question

JSoup-1.8.1

尝试{
Document Document=Jsoup.connect（url.get（）；
返回Document.getElementsByTag（“title”）.text（）；
}catch（异常e）{
System.out.println（e）；
返回null；
}

org.jsoup.HttpStatusExc0019： HTTP错误获取URL。状态=404， URL=http://ja.wikipedia.org/wiki/

解码的url在这里http://ja.wikipedia.org/wiki/りんご

当我在本地的Main函数中运行它时，它会按我期望的方式运行。但是如果我在Servlet中执行它，它返回404错误。非编码url可以正确执行。

Answer 1

维基百科不允许机器人爬网添加useragent和referer

doc = Jsoup.connect(url)
      .userAgent("Mozilla/5.0 (Windows; U; WindowsNT 5.1; en-US; rv1.8.1.6) Gecko/20070725 Firefox/2.0.0.6")
      .referrer("http://www.google.com")
      .get();