试图读取我的网站上目录的内容时出现JSoup错误403

Question

线程“main”组织中出现异常。jsoup。HttpStatusException:获取URL时发生HTTP错误。状态=403，URL=（站点）位于组织。jsoup。帮手HttpConnection$响应。在org上执行（HttpConnection.java:449）。jsoup。帮手HttpConnection$响应。在org上执行（HttpConnection.java:465）。jsoup。帮手HttpConnection$响应。在org上执行（HttpConnection.java:424）。jsoup。帮手HttpConnection。在org上执行（HttpConnection.java:178）。jsoup。帮手HttpConnection。在计划中获取（HttpConnection.java:167）。URL阅读器。main（URLReader.java:21）

大家好！

我一直在寻找一种方法来阅读一个我正在开发的应用程序的网站目录。

如果我硬编码，我可以自己读取文件并与它们一起工作，但是如果我试图从目录中获取文件列表，我会得到这个错误。

我已经尝试了一些方法，但这是我目前正在使用的代码。

字符串url=“”/（出于隐私考虑删除了网站）；打印（“正在提取%s…”，网址）；

    Document doc = Jsoup.connect(url).userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36").get();
    Elements links = doc.select("a[href]");
    Elements media = doc.select("[src]");
    Elements imports = doc.select("link[href]");

......

现在，如果我使用主网站www.google.com/它读取链接。问题是我想要一个目录www.google.com/something/something/...

当我尝试我的网站，我得到这个错误。

知道为什么我可以访问我的主站点，但不能访问其中的目录吗？

我还注意到结尾需要“/”。

只是好奇我是不是错过了什么，或者需要用另一种方式做什么？

谢谢你的时间。

Answer 1

其中一个可能的原因是无法从Java代码访问外部网站，请使用代理进行连接。

System.setProperty("http.proxyHost", "<<proxy host>>"); 
System.setProperty("http.proxyPort", "<<proxy port>>");

Answer 2

这可能是服务器配置（而不是您的应用程序）的问题（或故意试图阻止访问）。从http-status-code-403标记的标记wiki摘录：

403或“禁止”错误消息是一个HTTP标准响应代码，指示请求合法且已被理解，但服务器拒绝响应请求。

从标记wiki本身：

由于授权问题或与请求相关的其他约束，Web服务器可能会返回403禁止。文件权限、缺乏加密和达到的最大用户数（等等）都可能是403响应的原因。

如果目标站点试图阻止屏幕抓取，另一种可能是无法识别的用户代理字符串，但您将用户代理字符串设置为从实际浏览器获得的字符串（我猜想），因此这不应该是原因。

您的问题不清楚您是否希望获取一个常规（HTML）网页，或者在创建索引时获取服务器生成的一个特殊“目录列表”页面。目录中不存在html。如果是后者，请注意，许多服务器禁用了这些列表，以避免泄漏目录中未链接到网站本身的文件名。同样，这是一个服务器配置问题，而不是应用程序可以解决的问题。

Answer 3

String mylink = "http://www.imdb.com/search/title?genres=action";

Connection connection = Jsoup.connect(mylink);
connection.userAgent("Mozilla/5.0");
Document doc = connection.get();

//Elements elements = doc.body().select("tr.even detailed");
Elements elements = doc.getElementsByClass("results");

System.out.println(elements.toString());