我不能刮每个链接内容为特定的时间段从确实

Question

我不熟悉python和web抓取。谢谢你的帮助。我是编程和实践方面的新手。我正在使用python和selenium进行web抓取

目标是找到过去24小时张贴的所有工作，并刮掉工作详细信息页面上可用的外部链接，链接文本“在公司网站上申请”，标题，公司，名称，位置，工作描述。

我编写了以下代码，但它正确地获取了页面上的所有链接，然后当我尝试打开每个链接时，它只打开了第一个链接。我怎样才能打开我一个接一个获取的所有链接。提前感谢，以下是我的代码示例：

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.keys import Keys

Path = "C:\Program Files (x86)\chromedriver.exe"
driver = webdriver.Chrome(Path)

driver.get("https://indeed.ae/")
print(driver.title)
search = driver.find_element_by_name("l")
search.send_keys("Dubai")
search.send_keys(Keys.RETURN)

try:
    td = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "resultsCol"))
    )
    divs = td.find_elements_by_tag_name("div")

    for div in divs:
        try:
            title = div.find_element_by_class_name("title")
            anchors = title.find_elements_by_tag_name('a')
            links = []
            for anchor in anchors:
                link = anchor.get_attribute('href')
                links.append(link)
                print(links)
                for link in links:
                    url = driver.get(link)
        except:
            continue

finally:
    driver.quit()


driver.quit()

Answer 1

我认为你在错误的地方运行循环，这就是为什么你只得到1个链接。

try:
        title = div.find_element_by_class_name("title")
        anchors = title.find_elements_by_tag_name('a')
        links = []
        for anchor in anchors:
            link = anchor.get_attribute('href')
            links.append(link)
        print(links)
        for link in links:
            url = driver.get(link)

我不使用selenium，但我擅长网络抓取主题。请告诉我你在链接列表循环中想做什么？

for link in links:
            url = driver.get(link)

Answer 2

问题是你得到了href，转到页面，刮下它并说给我下一个href，但是现在你看，你再也找不到了，因为你在另一个页面上。

解决方案：清除所有URL并将其放入列表中。迭代该列表，然后逐个遍历其中的每个元素，将其刮除并从该列表中选择下一个元素。