如何使用EC.presence_of_element_located（（By.ID，“myDynamicElement”））指定类而不是ID

Question

我正在尝试使用Python来web抓取一个网站，通过使用嵌入式javascript文件动态加载HTML，将数据作为响应呈现到HTML中。因此，如果我单独使用BeautifulSoup，我将无法检索我所需的数据，因为我的程序将在Javascript加载数据之前将其删除。因此，我将selenium库集成到我的代码中，以使我的程序在抓取网站之前等待找到某个元素。

我最初是这样做的：

element = WebDriverWait(driver,100).until(EC.presence_of_element_located((By.ID, "tabla_evolucion")))

但我想指定一个类，而不是执行以下操作：

element = WebDriverWait(driver,100).until(EC.presence_of_element_located((By.class, "ng-binding ng-scope")))  

这是我的代码的其余部分：

driver_path = 'C:/webDrivers/chromedriver.exe'
driver = webdriver.Chrome(executable_path=driver_path)
driver.header_overrides = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'}
url = "myurlthatIamscraping.com" 
response = driver.get(url)
html = driver.page_source
characters = len(html)
element = WebDriverWait(driver,100).until(EC.presence_of_element_located((By.class, "ng-binding ng-scope")))

print(html)
print(characters)
time.sleep(10)
driver.quit()

它对我不起作用，我在任何地方都找不到正确的语法。

Answer 1

我有一个解决方案：尝试一下-将您的classclass更改为class_NAME

element = WebDriverWait(driver,100).until(EC.presence_of_element_located((By.CLASS_NAME , "ng-binding ng-scope")))

Answer 2

相关的HTML将帮助我们构建一个更规范的答案。但是，从第一行代码开始：

element = WebDriverWait(driver,100).until(EC.presence_of_element_located(
  (By.ID, "tabla_evolucion")))

在第二行代码中：

element = WebDriverWait(driver,100).until(EC.presence_of_element_located(
  (By.class, "ng-binding ng-scope")))

将引发错误：

消息：无效的选择器：不允许复合类名

因为您不能通过 By.class 传递多个类。

您可以在无效选择器中找到详细讨论:Webdriver和Python不允许使用find_element_by_class_name的复合类名

您需要注意以下几点：

< li >在对您的用例没有任何可见性的情况下，在功能上将与EC相关联的WebDriverWait归纳为< code > presence _ of _ element _ located()仅确认DOM树中元素的存在。假设您需要获得属性，例如< code>value、< code>innerText等，或者您将与元素进行交互。因此，您需要使用< code > visibility _ of _ element _ located()或< code > element _ to _ be _ clickable() 来代替< code > presence _ of _ element _ located()

您可以在 Web驱动程序中找到详细的讨论，即未按预期工作

>

为了获得最佳结果，您可以组合ID和CLASS属性，并且您可以使用以下任一定位器策略：

使用< code>CSS_SELECTOR:

  element = WebDriverWait(driver, 20).until(EC.visibility_of_element_located(
    (By.CSS_SELECTOR, ".ng-binding.ng-scope#tabla_evolucion")))

• 使用 XPATH：

  element = WebDriverWait(driver, 20).until(EC.visibility_of_element_located(
    (By.XPATH, "//*[@class='ng-binding ng-scope' and @id='tabla_evolucion']")))

Answer 3

它位于文档中。

支持的定位器策略集。' CLASS _ NAME = ' CLASS NAME ' < br > CSS _ SELECTOR = ' CSS SELECTOR ' < br > ID = ' ID ' < br > LINK _ TEXT = ' LINK TEXT ' < br > NAME = ' NAME ' < br > PARTIAL _ LINK _ TEXT = ' PARTIAL LINK TEXT ' < br > TAG _ NAME = ' TAG NAME ' < br > XPATH = ' XPATH '

注意：代码中的内容不是一个类，而是两个类。如果使用 By.CLASS_NAME（） 则此方法不起作用，因为它只需要一个类。取而代之的是一个CSS选择器

EC.presence_of_element_located((By.CSS_SELECTOR, ".ng-binding.ng-scope")))

在 CSS 选择器语法中，. 表示一个类。有关 CSS 选择器语法的详细信息，请参阅 W3C 文档。