403错误，而获得谷歌结果使用jSoup[重复]

Question

我正在尝试使用以下代码获取Google结果：

Document doc = con.connect("http://www.google.com/search?q=lakshman").timeout(5000).get();

但是我得到了这个例外：

org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403,URL=http://www.google.com/search?q=lakshman

403错误意味着服务器禁止访问，但我可以很好地在Web浏览器中加载此URL。为什么J汤会出现403错误？

Answer 1

实际上，您可以通过添加用户代理来避免403错误

doc = Jsoup.connect(url).timeout(timeout)
                    .userAgent("Mozilla")

但我认为这违反了谷歌的政策。

编辑：谷歌捕捉机器人的速度比你想象的要快。但是，您可以将其用作临时解决方案。

Answer 2

谷歌不允许机器人，你不能使用jsoup连接谷歌。您可以使用Google Web Search API（已弃用），但您每天可能发出的请求数量将受到限制。

Answer 3

您只需要将UserAgent属性添加到HTTP标头，如下所示：

Jsoup.connect(itemUrl)
     .userAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.152 Safari/537.36")
     .get()