使用硒点击一个链接，然后返回主页并点击其他链接

Question

我正在做一个网络抓取，我可以在一个特定的链接中获取信息，但是我想通过去那个页面上每个项目的链接来自动化这个过程，然后获取信息回到主页，然后点击下面项目的链接。

网址是：https://ca.iherb.com/c/Vitamins?noi=48

我想点击“加州黄金营养、黄金C、维生素C、1000毫克、60粒蔬菜胶囊”项目，然后点击底部的“查看所有评论”。然后返回主页并单击以下项目的链接。

我使用此代码获取所有项目的链接，但无法确定是否单击每个链接中的“查看所有评论”，然后返回主页：

driver = webdriver.Chrome(chrome_path)
driver.get('https://ca.iherb.com/c/Vitamins?noi=48')

x = [my_elem.get_attribute("href") for my_elem in driver.find_elements_by_xpath("//div[@class='absolute-link-wrapper']/a")]

请帮助查看下面的插图，非常感谢：

在此输入图像描述

在此输入图像描述

在此输入图像描述

Answer 1

我倾向于使用Selenium和BeautifulSoup混合使用这种类型的抓取，因为Javascript较少，并且可以使用BeautifulSoup绕过某些单击每个链接的操作，因此最初的部分不需要使用Selenium：

我们可以使用这段代码获取此页面中的所有超链接。

import requests
from bs4 import BeautifulSoup

url = 'https://ca.iherb.com/c/Vitamins?noi=48'

html = requests.get(url).content

soup = BeautifulSoup(html,'lxml')

a_tags = soup.find_all('a', class_ = 'absolute-link product-link',href = True)
arr_url= []

for a in a_tags:

    arr_url.append(a['href'])
    print(a['href'])

输出：

您可以使用Selenium直接打开上述超链接，点击“查看所有评论”。

Answer 2

您应该首先使用requests模块尝试相同的方法，并且应该选择selenium作为最后的手段。当您首先使用selenium开始编写脚本时，我想到了一个面向selenium的解决方案。鉴于以下各项应能发挥作用：

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get("https://ca.iherb.com/c/Vitamins?noi=48")
wait = WebDriverWait(driver, 10)

#close the pop up
wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR,"svg[data-ga-event-action='list-close']"))).click()

#store all the links in a list
item_links = [item.get_attribute("href") for item in wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,".absolute-link-wrapper > a.product-link")))]

#iterate over the links
for item_link in item_links:
    driver.get(item_link)

    #locate and click on the `View All Reviews` link
    all_reviews_link = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,"span.all-reviews-link > a")))
    driver.execute_script("arguments[0].click();",all_reviews_link)
    time.sleep(5) #slow the script down