在Android应用程序上获取所有html数据，而不是在Java控制台应用程序上

Question

在我的Android应用程序中，我正在异步任务中抓取一些数据。它工作正常，Jsoup可以正确地检索整个文档。但是，当我在Java控制台应用程序中运行相同的Jsoup代码时，它会连接到ESPN网站，但无法获取整个文档，因为games对象始终为空（大小始终为0）。由于某些原因，在控制台应用程序上，代码文档。选择（“section.sb分数”） 在html中找不到此数据。但在Android系统中确实如此。

以下是运行良好的android代码：

public class NBAScraper extends GameScraper  //GameScraper extends AsyncTask
{
    public NBAScraper(DateTime date)
    {
        super(date);
        mUrl = "http://www.espn.com/nba/scoreboard/_/date/" + mDateStr; //mDateStr format: yyyyMMdd
    }

    @Override
    protected GameSorterHelper doInBackground(Void... voids)
    {
        GameSorterHelper gsh = new GameSorterHelper();
        try
        {
            Document document = Jsoup.connect(mUrl).get();
            games = document.select("section.sb-score");
            if(games.size() == 0)
                return null;
        } catch (IOException)
        {
            e.printStackTrace();
            return null;
        }

        //do stuff with gsh object...
        return gsh;
    }
}

这是我尝试过的控制台应用程序：

public class Main
{
    public static void main(String[] args)
    {
        String url = "http://www.espn.com/nba/scoreboard/_/date/20170225";
        try
        {
            Document document = Jsoup.connect(url)
                    .maxBodySize(0)
                    .userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36")
                    .get();
            Elements games = document.select("section.sb-score");
            System.out.println(games.size());

            if (games.size() == 0)
                System.out.println("games size is 0");
            else
                System.out.println("games exist");

        } catch (Exception e)
        {
            e.printStackTrace();
        }
    }
}

如您所见，我已尝试将maxBodySize设置为0，允许任何文档下载大小，并将userAgent设置为0。两者都不能解决问题。当然，我也尝试过在没有设置这两个选项的情况下使用它，但这也不起作用。

有人知道为什么会发生这种情况，以及如何让它在控制台应用程序上工作吗？谢谢你！




Answer 1

看起来它与userAgent字符串有关。为了让它在我的PC上运行，我不得不使用以下（AndroidUA）：Mozilla/5.0（Linux；U；Android4.0.3；ko-kr；LG-L160L Build/IML74K）AppleWebkit/534.30（KHTML，比如Gecko）Version/4.0 Mobile Safari/534.30