组织。jsoup。HttpStatusException:获取URL时发生HTTP错误。Status=504尝试刮取HTML内容时出错

Question

我想从下面列出的URL中删除HTML代码。问题是，我得到了这个错误：-

2016年8月14日下午6:40:36。主要严重错误：空组织。jsoup。HttpStatusException:获取URL时发生HTTP错误。状态=504，URL=http://www.bkstr.com/webapp/wcs/stores/servlet/CourseMaterialsResultsView?catalogId=10001

我已将超时设置为无穷大，但这没有帮助。该网站的HTML代码非常大，即14833行代码。这就是问题的原因吗？

String url = "http://www.bkstr.com/webapp/wcs/stores/servlet/CourseMaterialsResultsView?catalogId=10001&categoryId=9604&storeId=10293&langId=-1&programId=636&termId=100043741&divisionDisplayName=%20&departmentDisplayName=ACCG&courseDisplayName=16971&sectionDisplayName=P15%20DAVIS&demoKey=d&purpose=browse";

Document doc = Jsoup.connect(url)
                .maxBodySize(0)
                .timeout(0)
                .get();

System.out.println(doc);

Answer 1

通过将UserAgent设置为Mozilla/5.0（X11；Linux x86_64）AppleWebKit/537.36（KHTML，比如Gecko）Chrome/51.0.2704.106 Safari/537.36，我成功地连接到了该网站。但是，大约用了4分钟的时间才做出回应。

Answer 2

这不是JSoupAPI或您的代码问题。出现错误消息的原因是URL没有响应并抛出“网关超时”错误消息（代理服务器没有收到来自上游服务器的及时响应）。

来自程序的异常消息：-

HTTP错误获取URL。状态=504

HTTP状态代码： 504

504网关超时

服务器在充当网关或代理时，没有从URI（例如HTTP、FTP、LDAP）指定的上游服务器或它在尝试完成请求时需要访问的某些其他辅助服务器（例如DNS）收到及时响应。

  Note: Note to implementors: some deployed proxies are known to
  return 400 or 500 when DNS lookups time out.