如何从网页中提取身份证列表？

Question

我有这个代码在一个网页我试图刮与硒：

 <h4 class="category" id="sc_14295">...</h4>
 <h4 class="category" id="sc_14292">...</h4>
 <h4 class="category" id="sc_14291">...</h4>
 <h4 class="category" id="sc_14299">...</h4>

我试图实现这样的方法（我在SO上找到的）来获得至少一个id：

String id = driver.findElement(By.xpath("//div[@class='category']")).getAttribute("id");

这样：

String id = driver.findElement(By.xpath("//h4[@class='category']")).getAttribute("id");

它不起作用。我假设我应该使用findElements（），但不能使用getAttribute。如何提取所有id的列表？谢谢

Answer 1

要打印元素的id属性列表，您需要诱导WebDriver等待visibilityOfAllElementsLocatedBy（），您可以使用Java8stream（）和map（），您可以使用以下定位器策略：

>

css选择器：

System.out.println(new WebDriverWait(driver, 20).until(ExpectedConditions.visibilityOfAllElementsLocatedBy(By.cssSelector("h4.category"))).stream().map(element->element.getAttribute("id")).collect(Collectors.toList()));

xpath：

System.out.println(new WebDriverWait(driver, 20).until(ExpectedConditions.visibilityOfAllElementsLocatedBy(By.xpath("//h4[@class='category']"))).stream().map(element->element.getAttribute("id")).collect(Collectors.toList()));

Answer 2

没有看到java标记，但过程是相同的。

这将获得一个元素，您可以直接获取id：

driver.find_element_by_xpath("//h4[@class = 'category']").get_attribute("id")   

这将获取多个元素，但必须循环它们才能获取每个元素的id：

driver.find_elements_by_xpath("//h4[@class = 'category']"):

实例

from selenium import webdriver
driver = webdriver.Chrome('C:\Program Files\ChromeDriver\chromedriver.exe')

html_content = """
<h4 class="category" id="sc_14295">...</h4>
 <h4 class="category" id="sc_14292">...</h4>
 <h4 class="category" id="sc_14291">...</h4>
 <h4 class="category" id="sc_14299">...</h4>
"""

driver.get("data:text/html;charset=utf-8,{html_content}".format(html_content=html_content))


for element in driver.find_elements_by_xpath("//h4[@class = 'category']"):
        print(element.get_attribute("id"))

driver.close()

输出

sc_14295
sc_14292
sc_14291
sc_14299