获取URL时出错。状态=400

Question

JSoup似乎可以处理我尝试过的所有URL，但这一个给了我400个错误。

String url = "http://localad.walmart.com?storeref=3008&forceview=y";

Response response = Jsoup.connect(url.replaceAll(" ", "%20"))
    .method(Method.GET)
    .userAgent("Mozilla")
    .followRedirects(false)
    .timeout(5000)
    .data("pragma", "no-cache")
    .execute(); 

我得到的错误是：

Exception in thread "main" org.jsoup.HttpStatusException: HTTP error fetching URL. Status=400, URL=http://localad.walmart.com?storeref=3008&forceview=y&pragma=no-cache
at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:449)
at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:424)
at org.jsoup.helper.HttpConnection.execute(HttpConnection.java:178)

Answer 1

继续，而不依赖JSoup来解析中间地址（重定向的URL）。我需要最终的重定向URL（JSoup在使用该URL时没有问题），因此使用以下代码获得该URL。

import java.net.URI;
import org.apache.http.HttpRequest;
import org.apache.http.HttpResponse;
import org.apache.http.ProtocolException;
import org.apache.http.impl.client.DefaultRedirectStrategy;
import org.apache.http.protocol.HttpContext;

public class MyRedirectHandler extends DefaultRedirectStrategy {

    public URI lastRedirectedUri;

    @Override
    public boolean isRedirected(HttpRequest request, HttpResponse response, 
        HttpContext context) {
    try {
        return super.isRedirected(request, response, context);
     } catch (ProtocolException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }
    return false;
    }

    @Override
    public URI getLocationURI(HttpRequest request, HttpResponse response, HttpContext context)
        throws ProtocolException {

        lastRedirectedUri = super.getLocationURI(request, response, context);
        return lastRedirectedUri;
    }

调用代码：

    DefaultHttpClient httpclient = new DefaultHttpClient();
    String url2 = "http://localad.walmart.com/walmart/new_user_entry.aspx?storeref=3008&forceview=y";
    MyRedirectHandler handler = new MyRedirectHandler();
    httpclient.setRedirectStrategy(handler);

    HttpGet get = new HttpGet(url2);
    httpclient.execute(get);

    String lastUrl = url2;
    if (handler.lastRedirectedUri != null) {
        lastUrl = handler.lastRedirectedUri.toString();
    }

Answer 2

400是错误的要求。

您应该尝试urlcoder。编码（url，“UTF-8”）而不是使用replaceAll。

Answer 3

当JSoup在400个错误请求上抛出致命异常时，会有点烦人，因为这会完全终止任何正在运行的进程，即使是包装在try/catch中。但是嘿。

有一个解决方案，在您的初始连接URL上，附加该方法；

.ignoreHttpErrors(true)

例如；

Jsoup.connect(url).ignoreHttpErrors(true).execute().statusCode();

这将为您提供官方的“400”状态代码，而不是引发致命的异常。

我知道这是一个老帖子，但张贴作为参考，因为我在寻找解决这个问题的方法时遇到了这个线程。