为什么Beautiful Soup在HTML中找不到类？

Question

我试图向一个URL发送一个AJAX请求，它成功地返回了我试图抓取的内容。但是，当我试图实际拉出HTML的特定部分时，它总是返回None，或者如果我尝试find_all，它返回一个空列表。

下面是我的代码：

import requests
from bs4 import BeautifulSoup

#AJAX URL to send the post to
url = "https://www.qualitycheck.org/ajax/QualityReport/ajax.aspx"

#Information being requested and BSNID vars (can be extended for additional information like GetAccreditationPrograms)
TJC_ID = '21'
payload = 'f=GetDemographicInfo&bsnid=' + TJC_ID

#Content Headers
headers = {
  'Content-Type': 'application/x-www-form-urlencoded'
}

#Post to TJC
response = requests.request("POST", url, headers = headers, data = payload)

#Clean up the response
soup = BeautifulSoup(response.text, 'lxml')

#testing something
# tryastring = soup.find_all(string="head")
# print(tryastring)

# Pull out the "head-loc" div class only
final = soup.find('div', class_="head-loc")
print(final)

#Print results to make sure it works
# print(final.prettyify())
# print(soup.prettify())

如果取消对#print(final.prettyify())的注释，将看到它返回none。但是，如果运行print(Soup.prettify())，您将返回HTML并可以看到其中的div类。

我已经尝试了很多不同的方法，我开始觉得我的问题不在我所寻找的地方。有什么想法，我如何可以有这个拉动的div与类“head-loc”？我实际上想同时拉出头名和头锁，但我可以在这座桥过了之后把那部分弄清楚。

我也尝试使用html.parser而不是lxml，但情况是一样的。

Answer 1

结果我需要首先解析JSON，然后才能解析HTML。

###
    site_response: dict = response.json()
    new_html: str = site_response.get('ResponseHtml')

    ###
    # Adding our new HTML to bs4
    ###
    soup = BeautifulSoup(new_html, 'html.parser')

    # Pull out the "head-loc" div class only
    final = soup.find('div', class_="head-loc")