Jsoup、Reddit、OAuth2和429 HTTP错误

Question

因此，我正在尝试为我运行的一个小的subreddit编写一个可执行JAR。

我有一篇文章，Jsoup连接并读取了该页面上的所有URL。在另一种方法中，它然后连接到所有这些URL（只是帖子上的注释），并从注释中获取HTML并将其保存到HashMap。

这很好，但是我收到429 HTTP错误。因此，为了解决这个问题，我添加了一个短短的5秒等待。现在我得到一个套接字超时异常“读取超时”。一旦我将时间降低到3秒，我就在两者之间蹦蹦跳跳。

现在，我用Python运行了几个Reddit机器人，我能够发出比现在更多的请求。实际上，我有一个每分钟发出数千个请求的机器人。所以我知道提出这些要求是可能的。

我的问题基本上是，我如何能够向Reddit发出多个请求并避免429 HTTP错误？我正在使用 Jsoup 来连接和读取 HTML。

他们的OAuth2 API将解决这些问题，我不知道如何在Java中实际使用OAuth2（我实际上在Python中使用包装器，所以公平地说，我根本不知道），我不知道如何在J汤中使用它。

Answer 1

只需设置标题，您就可以轻松通过它

User-Agent: super happy flair bot by /u/spladug

Answer 2

我的问题基本上是，我如何能够向Reddit发出多个请求并避免429 HTTP错误？

你自己回答：

虽然我确定通过连接到Reddit。他们的OAuth2 API将修复这些问题，

正如API文档中所规定的，如果使用OAuth进行身份验证，每秒钟可以收到两倍的请求。

你有没有寻找过如何在Java中处理OAuth流的例子？

您可能还会发现使用其中一个包装器库来Java更容易，而不是自己处理所有这些。