Jsoup不解析整个html正文？

Question

Jsoups解析是否存在某种类型的限制。我一直在处理内存问题，这是我在这个网站上公开的另一个问题，但我开始意识到我甚至没有得到我需要的所有信息。

我正在使用jsoup来解析一个html页面，它是一个测试页面，里面只有数百万个由空白分隔的数字。当我用jsoup解析它时，我可以得到一些文本，但它不会得到全部。

例如，如果我有一个string text，它包含来自.parse（）的html，那么它只有整个网页中数字的一半。如果我转到网页并抓取最后一个号码，用html调用text上的.contains()，它将失败。但是，如果我检查.contains()中的一个数字，它在传递的html中占一半，这是什么意思？

更奇怪的是，如果我解析html并将其写入文本文件，除了页面上的前几个单词，文本是空的。测试页面基本上是“test page”，然后后面跟着几百万个数字，而在我的文本文件中，它只说“test page”，没有数字，但是有100%的数字，因为我可以在文本上调用.contains（）来检查有哪些数字。

    html = (Jsoup.connect(url.toString()).get().html());
            Document doc = Jsoup.parse(html);
            text = (doc.body().text());         
            PrintWriter out = new PrintWriter("filename2.txt");
            out.write(Jsoup.parse(html).body().text());
            out.flush();
            out.close();

上次相关测试代码

编辑：在这上面浪费了这么多时间，答案就这么简单，不能用JSOUP解析url的完整html。基本上，jsoup上有1M的限制，因此您可以删除该限制

我解决了html解析问题，但没有解决文本无法打印到文件的问题：/

Answer 1

Jsoup既限制了检索文档的最大大小，也限制了获取文档的时间。您的文档似乎比默认值大。因此,必须指定其他限制：

html = Jsoup.connect(url.toString())
       .maxBodySize(0)
       .timeout(0)
       .get()
       .html();

将maxBodySize和timeout设置为0将完全删除限制。请注意，这可能会很危险，并使应用程序永远停顿。