用Java获取网站源

Question

我想使用Java来获取网站的源（安全），然后解析该网站以获取其中的链接。我已经找到了如何连接到该URL的方法，但是然后我如何才能轻松地仅获取源代码，更喜欢作为DOM
Document oso来获取我想要的信息。

还是有更好的方法连接到https站点，获取源代码（我很容易做到以获取数据表…非常简单），然后这些链接就是我要下载的文件。

我希望它是FTP，但是这些是存储在我的Tivo中的文件（我想以编程方式将它们下载到我的计算机中（

Answer 1

您可以得到低级别的请求，只需通过套接字请求即可。在Java中看起来像

// Arg[0] = Hostname
// Arg[1] = File like index.html
public static void main(String[] args) throws Exception {
    SSLSocketFactory factory = (SSLSocketFactory) SSLSocketFactory.getDefault();

    SSLSocket sslsock = (SSLSocket) factory.createSocket(args[0], 443);

    SSLSession session = sslsock.getSession();
    X509Certificate cert;
    try {
        cert = (X509Certificate) session.getPeerCertificates()[0];
    } catch (SSLPeerUnverifiedException e) {
        System.err.println(session.getPeerHost() + " did not present a valid cert.");
        return;
    }

    // Now use the secure socket just like a regular socket to read pages.
    PrintWriter out = new PrintWriter(sslsock.getOutputStream());
    out.write("GET " + args[1] + " HTTP/1.0\r\n\r\n");
    out.flush();

    BufferedReader in = new BufferedReader(new InputStreamReader(sslsock.getInputStream()));
    String line;
    String regExp = ".*<a href=\"(.*)\">.*";
    Pattern p = Pattern.compile( regExp, Pattern.CASE_INSENSITIVE );

    while ((line = in.readLine()) != null) {
        // Using Oscar's RegEx.
        Matcher m = p.matcher( line );  
        if( m.matches() ) {
            System.out.println( m.group(1) );
        }
    }

    sslsock.close();
}