使用jsoup（java）解析https

Question

    package test;

import java.io.IOException;
import java.net.MalformedURLException;
import java.net.URL;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class crawler{
  private static final int TIMEOUT_IN_MS = 5000;

  public static void main(String[] args) throws MalformedURLException, IOException
  {
    Document doc = Jsoup.parse(new URL("http://www.internet.com/"), TIMEOUT_IN_MS);

    System.out.println(doc.html());
  }

}

    Document doc = Jsoup.parse(new URL("https://www.somesite.com/"), TIMEOUT_IN_MS);

System.out.println(doc.html());

Answer 1

Jsoup很好地支持https--它只是在背后使用Java的URLConnection。

403服务器响应表示服务器已“禁止”请求，通常是由于授权问题。如果您得到的是HTTP响应状态代码，那么TLS（https）协商已经成功。

这里的问题可能与HTTPS无关，只是您有困难获取的URL碰巧是HTTPS。您需要理解为什么服务器会给您一个403--我的猜测是，要么您需要发送一些授权令牌（cookie或URL参数），要么它因为用户代理（除非您指定，否则它默认为“java”）而阻止请求。很多服务都是这样阻止请求的。查看将useragent设置为公共浏览器字符串。使用jsoup.connect方法来完成此操作。