JSOUP-如何使用JSOUP搜寻“需要登录”页面

Question

我在爬网一个想要爬网的坚定网站时遇到了麻烦。问题是：成功登录该网站后，我无法访问需要有效登录的链接。

例如：

public Document executeLogin(String user, String password) {
    try {
        Connection.Response loginForm = Jsoup.connect(url)
                .method(Connection.Method.GET)
                .execute();

        Document mainPage = Jsoup.connect(login-validation-url)
                .data("user", user)
                .data("senha", password)
                .cookies(loginForm.cookies())
                .post();

        Document evaluationPage = Jsoup.connect(login-required-url)
                .get();

       return evaluationPage;
    } catch (IOException ioe) {
        return null;
    }

我在这里做的是：

• 从登录页面获取cookie，以便我可以正确登录；
• 然后，我发布到登录验证URL，该URL在登录后返回主页。
• 最终，我尝试在登录主页后尝试访问需要登录的URL，但是该请求使我返回登录页面，就好像会话已过期。

我知道我必须存储cookie才能使会话保持活动状态，但是当我连接到登录验证url时，它将返回我一个Document对象，并且没有从该对象获取的cookie。

是否有任何方法可以获取成功登录创建的“会话”并将其发送到其他Jsoup.connects中？我想做的是爬网一个只能由登录用户访问的页面。

提前非常感谢您。

Answer 1

登录后获取Cookie：

    Connection.Response loginForm = Jsoup.connect(url)
            .method(Connection.Method.GET)
            .execute();

    Connection.Response mainPage = Jsoup.connect(login-validation-url)
            .data("user", user)
            .data("senha", password)
            .cookies(loginForm.cookies())
            .execute();

    Map<String, String> cookies = mainPage.cookies();

    Document evaluationPage = Jsoup.connect(login-required-url)
            .cookies(cookies)
            .execute.parse();

   return evaluationPage;

当您获得第二个网页时，还必须使用cookie：

（来源：几天前我遇到了这个问题）

因此，将cookie放入会更容易Map：

Map<String, String> cookies = loginForm.cookies();

并使用这些cookie提交表单。