java.io.IOException：服务器返回HTTP响应代码：403为URL[重复]

Question

我想打开一个链接从网址："http://www.kohls.com/search.jsp?search=jacket

Java语言io。IOException：服务器返回URL的HTTP响应代码：403。但使用浏览器打开url也没关系。以下是我代码的一部分：

URL url = new URL("http://www.kohls.com/search.jsp?search=jacket&submit-search=web-regular");

InputStream is = url.openConnection().getInputStream();

错误详细信息

线程“main”java中出现异常。io。IOException：服务器返回了URL的HTTP响应代码403：http://www.kohls.com/search.jsp?N=0

Answer 1

您试图访问的特定Web服务器是检查用户代理HTTP头并拒绝访问任何看起来不像正常浏览器的内容，以防止机器人程序（这可能是您正在编写的）。

您只需要在Java中设置标头作为请求的一部分，它就可以工作。

如何设置标头将取决于您如何建立连接，但如果您使用的是简单的URLConnection，那么这将有效：

URLConnection conn = url.openConnection();
conn.setRequestProperty("User-Agent", "Mozilla/5.0");

通常，“真实”User-Agent包含大量额外信息，但该网络服务器似乎只查找基本的浏览器类型。

您可以使用带和不带用户代理选项的wget来证明这一点：

$ wget "http://www.kohls.com/search.jsp?search=jacket&submit-search=web-regular"
--2015-05-07 16:08:46--  http://www.kohls.com/search.jsp?search=jacket&submit-search=web-regular
2015-05-07 16:08:46 ERROR 403: Forbidden.

$ wget -U "User-Agent: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:37.0) Gecko/20100101 Firefox/37.0" "http://www.kohls.com/search.jsp?search=jacket&submit-search=web-regular"
--2015-05-07 16:08:49--  http://www.kohls.com/search.jsp?search=jacket&submit-search=web-regular
awaiting response... 200 OK
...