列出加载网页的所有媒体和文档文件，其中包含python请求

Question

我正在寻找一种通过请求模块列出所有加载文件的方法。就像chrome的Inspector网络选项卡一样，您可以看到该网页加载的各种文件。

问题是我要获取的文件（在这种情况下是. pdf文件）没有特定的选项卡，网页通过javascript和AJAX加载它我猜，因为即使在页面完全加载后，我也找不到一个具有指向. pdf文件或类似文件的链接的标签，所以每次我都应该转到Networks选项卡并重新加载页面并在加载的资源列表中找到文件。有没有办法捕获所有加载的文件并使用请求模块列出它们？

Answer 1

当浏览器加载一个超文本标记语言文件时，它会解释该文件的内容。它可能会发现有一个引用外部JavaScript URL的标签。然后浏览器将发出一个GET请求来检索该文件。当收到所述文件时，它会通过执行其中的代码来解释JavaScript文件。该代码可能包含AJAX代码，进而获取更多文件。或者超文本标记语言文件可能会引用带有标签的extern CSS文件或带有标签的图像文件。这些文件也将由浏览器加载，并且可以在您运行浏览器的检查器时看到。

相比之下，当您使用请求模块对特定URL执行get请求时，只会获取一个页面。没有逻辑来解释返回页面的内容并获取页面中引用的那些图像、样式表、JavaScript文件等。

但是，您可以使用Python来使用Selenium WebDriver之类的工具自动化浏览器，该工具可用于完全下载页面。