试图在python中使用selenium从div类中获取文本

Question

HTML div类，其中包含我希望打印的数据

<div class="gs_a">LR Binford&nbsp;- American antiquity, 1980 - cambridge.org </div>

这是我目前的代码：

from selenium import webdriver

def Author (SearchVar):

    driver = webdriver.Chrome("/Users/tutau/Downloads/chromedriver")

    driver.get ("https://scholar.google.com/")

    SearchBox = driver.find_element_by_id ("gs_hdr_tsi")

    SearchBox.send_keys(SearchVar)

    SearchBox.submit()

    At = driver.find_elements_by_css_selector ('#gs_res_ccl_mid > div:nth-child(1) > div.gs_ri > div.gs_a')

    print (At)

Author("dog")

我打印出来的都是

硒。网络驱动程序。遥远的webelement。WebElement（session=“9aa956e2bd51f510dd626f6937b01c0e”，element=“0.6506218589958-1”）

我对selenium的帮助并不陌生

Answer 1

您正在打印元素。打印（At.text）而不是At。

Answer 2

简介

首先，我建议css使用更快的解析器在selenium的页面_source上选择目标。

import lxml
import lxml.html

# put this below SearchBox.submit()

CSS_SELECTOR = '#gs_res_ccl_mid > :nth-child(1) > .gs_ri > .gs_a' # Define css
source = driver.page_source                                       # Get all html
At_raw = lxml.html.document_fromstring(source)                    # Convert
At = At_raw.cssselect(CSS_SELECTOR)                               # Select by CSS

解决方案1

然后，您需要从Web元素中提取text_content（）并对其进行正确编码。

At = At.text_content().encode('utf-8') # Get text and encode
print At

解决方案2

如果at包含多行和Unicode，您还可以删除以下内容：

At = [l.replace(r'[^\x00-\x7F]+','') for line in At \                 # replace unicode
         for l in line.text_content().strip().encode('utf-8').splitlines() \ # Get text
               if l.strip()]                # only consider if line contains characters
print At

Answer 3

看来你就快到了。也许，根据您共享的HTML和代码测试，您看到了所需的输出。

一旦执行了以下代码行：

At = driver.find_elements_by_css_selector ('#gs_res_ccl_mid > div:nth-child(1) > div.gs_ri > div.gs_a')

WebElement At指的是所需的元素（列表中的单个元素）。在下一步中，当您调用print（At）时，将打印位于的WebElement，如下所示：

selenium.webdriver.remote.webelement.WebElement (session="9aa956e2bd51f510dd626f6937b01c0e", element="0.6506218589189958-1")

现在，根据你的问题，如果你想提取文本LR Binford

• text：获取元素的文本。
• get_attribute（属性名）：获取元素的给定属性或属性。

因此，您需要将代码行更改为：

print (At)

以下任何一项：

>

print(At.text)

使用get_属性（attributeName）：

print(At.get_attribute("innerHTML"))

您自己的代码稍作调整：

# -*- coding: UTF-8 -*-
from selenium import webdriver

def Author (SearchVar):

    options = webdriver.ChromeOptions() 
    options.add_argument("start-maximized")
    options.add_argument('disable-infobars')
    driver=webdriver.Chrome(chrome_options=options, executable_path=r'C:\Utility\BrowserDrivers\chromedriver.exe')
    driver.get ("https://scholar.google.com/")
    SearchBox = driver.find_element_by_name("q")
    SearchBox.send_keys(SearchVar)
    SearchBox.submit()
    At = driver.find_elements_by_css_selector ('#gs_res_ccl_mid > div:nth-child(1) > div.gs_ri > div.gs_a')
    for item in At:
        print(item.text)

Author("dog")

控制台输出：

…, RJ Marles, LS Pellicore, GI Giancaspro, TL Dog - Drug Safety, 2008 - Springer