Apache HTTPClient抛出java.net.SocketException：许多域的连接重置

Question

我正在创建一个（行为良好的）网络蜘蛛，并且我注意到一些服务器导致Apache HttpClient给我一个SocketException-具体来说：

java.net.SocketException: Connection reset

导致此的代码是：

// Execute the request
HttpResponse response; 
try {
    response = httpclient.execute(httpget); //httpclient is of type HttpClient
} catch (NullPointerException e) {
    return;//deep down in apache http sometimes throws a null pointer...  
}

对于大多数服务器来说，这很好。但是对于其他人，它立即引发SocketException。

导致立即发生SocketException的站点示例：http
://www.bhphotovideo.com/

效果很好（与大多数网站一样）：http :
//www.google.com/

现在，如您所见，www.bhphotovideo.com可以在Web浏览器中正常加载。当我不使用Apache的HTTP客户端时，它也可以很好地加载。（这样的代码：）

 HttpURLConnection c = (HttpURLConnection)url.openConnection();  
 BufferedInputStream in = new BufferedInputStream(c.getInputStream());  
 Reader r = new InputStreamReader(in);

 int i;  
 while ((i = r.read()) != -1) {  
      source.append((char) i);  
 }

那么，为什么不只使用这段代码呢？好吧，我需要使用Apache HTTP Client中的一些关键功能。

有谁知道是什么原因导致某些服务器导致此异常？

到目前为止的研究：

• 我的本地Mac开发人员机器和AWS EC2实例上出现问题，因此它不是本地防火墙。

• 似乎该错误不是由远程计算机引起的，因为异常未显示“ by peer”

• 此堆栈溢出似乎与java.net.SocketException有关：重新设置了连接，但答案并未显示出为什么仅从Apache HTTP Client而不是其他方法会发生这种情况。

奖励问题：我正在使用此系统进行大量爬网。除了Apache HTTPClient之外，通常还有更好的Java类吗？我发现了许多问题（例如，我必须在上面的代码中捕获到NullPointerException）。HTTPClient似乎对服务器通信非常挑剔-比我想要的爬虫更挑剔，而该爬虫在服务器不工作时不会仅仅中断。

谢谢大家！

老实说，我没有一个完美的解决方案，但是它有效，所以对我来说已经足够了。

正如下面的oleg所指出的那样，Bixo创建了一个爬网程序，该爬网程序自定义了HttpClient，以更加容忍服务器。为了“解决”这个问题而不是解决问题，我只是在这里使用了Bixo提供的SimpleHttpFetcher
：（已删除链接-因此认为我是垃圾邮件发送者，因此您必须自己使用Google搜索）

SimpleHttpFetcher fetch = new SimpleHttpFetcher(new UserAgent("botname","[e-mail]","ENTER URL"));
try {
    FetchedResult result = fetch.fetch("ENTER URL");
    System.out.println(new String(result.getContent()));
} catch (BaseFetchException e) {
    e.printStackTrace();
}

该解决方案的缺点是Bixo有很多依赖关系-
因此这对每个人来说可能都不是一个好的解决方案。但是，您始终可以通过他们对DefaultHttpClient的使用来进行工作，并查看他们如何实例化它以使其正常工作。我决定使用整个类，因为它为我处理了一些事情，例如自动重定向跟踪（并报告最终的目标URL）很有用。

谢谢大家的帮助。

编辑：TinyBixo

大家好。因此，我喜欢Bixo的工作方式，但是不喜欢Bixo具有如此多的依赖关系（包括所有Hadoop）。因此，我创建了一个大大简化的Bixo，没有所有依赖项。如果您遇到上述问题，我建议您使用它（如果您想更新它，可以随时发出请求请求！）

它可以在这里找到：https :
//github.com/juliuss/TinyBixo

Answer 1

首先，回答您的问题：

连接重置是由服务器端的问题引起的。服务器很可能无法解析该请求或无法处理该请求，并因此在没有返回有效响应的情况下断开了连接。HttpClient生成的HTTP请求中可能导致服务器逻辑失败的原因可能是服务器错误。仅仅因为错误消息没有说“
by peer”，并不意味着连接重置发生在客户端。

几点评论：

（1）诸如bixo
http://openbixo.org/之类的几种流行的Web爬网程序使用HttpClient时没有出现重大问题，但是其中许多人不得不调整HttpClient的行为，以使其对常见的HTTP协议违规行为更加宽容。默认情况下，HttpClient在HTTP协议遵从性方面非常严格。

（2）为什么不向HttpClient项目报告NPE问题或您遇到的任何其他问题？