使用selenium的Web抓取问题/Get comments

Question

我一直在尝试从Dealabs网站上执行一些web抓取。

下面是示例页面：

https://www.dealabs.com/bons-plans/saneo-climatiseur-2166879

主要目标是能够获得所有评论并打印出来。

示例代码如下：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait

url = "https://www.dealabs.com/bons-plans/saneo-climatiseur-2166879"

options = Options()
options.headless = True

driver = webdriver.Firefox(options=options)
driver.get(url)

button = WebDriverWait(driver, 2).until(
    EC.element_to_be_clickable((By.XPATH, "/html/body/main/div[4]/div[1]/div/div[1]/div[2]/button[2]/span"))
)
button.click()

comments_list = driver.find_element_by_class_name("commentList")
comments = comments_list.find_elements_by_class_name("commentList-item")

for comment in comments:
    _id = comment.get_attribute("id")
    author = comment.find_element_by_class_name('userInfo-username').text
    content = comment.find_element_by_class_name('userHtml-content').text
    timestamp = comment.find_element_by_class_name('text--color-greyShade').text
    print(_id)
    print(author)
    print(content)
    print(timestamp)
    print('-' * 30)

driver.close()

事实上，通过这样做，我只能收集最受好评的评论，而不是所有评论。

我有点困惑。

我是不是漏了什么？

提前感谢

Answer 1

大家好，谢谢大家抽出时间。

我发现了问题所在。

编辑了两行：

comments_list = driver.find_element_by_class_name("anchorTarget")
comments = comments_list.find_elements_by_class_name("commentList-item")

我没有关注html的正确部分。这就是为什么我得到的评论最多。

再次感谢。

Answer 2

您可以通过将page参数作为

https://www.dealabs.com/bons-plans/saneo-climatiseur-2166879?page=1
https://www.dealabs.com/bons-plans/saneo-climatiseur-2166879?page=2
https://www.dealabs.com/bons-plans/saneo-climatiseur-2166879?page=3

以此类推，而不是每次单击“下一步”按钮。