使用BeautifulSoup进行刮削时，输出带有正确标签的None

Question

我正试图从Zalora那里获得3件事：1。项目品牌2。项目名称3。项目价格（旧）

以下是我最初的尝试：

from bs4 import BeautifulSoup
import requests

def make_soup(url):
    html = requests.get(url)
    bsObj = BeautifulSoup(html.text, 'html.parser')
    return bsObj

soup = make_soup('https://www.zalora.com.hk/men/clothing/shirt/?gender=men&dir=desc&sort=popularity&category_id=31&enable_visual_sort=1')

itemBrand = soup.find("span",{"class":"b-catalogList__itmBrand fsm txtDark uc js-catalogProductTitle"})
itemName = soup.find("em",{"class":"b-catalogList__itmTitle fss"})
itemPrice = soup.find("span",{"class":"b-catalogList__itmPrice old"})

print(itemBrand, itemName, itemPrice)

输出：

None None None

然后我做进一步的调查：

productsCatalog = soup.find("ul",{"id":"productsCatalog"})
print(productsCatalog)

输出：

<ul class="b-catalogList__wrapper clearfix" id="productsCatalog">

这是令我困惑的奇怪的事情，在ul标签中应该有很多标签（我需要的3样东西都在那些隐藏的标签中），为什么它们不显示？

事实上，我试图在ul标签中使用BeautifulSoup刮取的所有内容都没有输出。

Answer 1

由于此内容由JavaScript呈现，因此无法使用请求模块访问它。您应该使用selenium自动化浏览器，然后使用BeautifulSoup解析实际的html。

这就是使用chromedriver的selenium的方法：

from selenium import webdriver
from bs4 import BeautifulSoup

chrome_driver = "path\\to\\chromedriver.exe"
driver = webdriver.Chrome(executable_path=chrome_driver)

target = 'https://www.zalora.com.hk/men/clothing/shirt/?gender=men&dir=desc&sort=popularity&category_id=31&enable_visual_sort=1'
driver.get(target)

soup = BeautifulSoup(driver.page_source, "lxml")

print(soup.find("span",{"class":"b-catalogList__itmBrand fsm txtDark uc js-catalogProductTitle"}).get_text().strip())
print(soup.find("span", {'class': 'b-catalogList__itmPrice old'}).get_text().strip())
print(soup.find("em",{"class":"b-catalogList__itmTitle fss"}).get_text().strip())

输出：

JAXON
HK$ 149.00
EMBROIDERY SHORT SLEEVE SHIRT