Web刮取无法通过Selenium/BS4获取完整的源代码数据

Question

我如何从我检查的源（如图像所示）中刮取输入标记的值属性中的数据？

我试过使用BeautifulSoup和Selenium，但它们对我都不起作用。

部分代码如下：

html=driver.page_source

output=driver.find_element_by_css_selector('#bookingForm > div:nth-child(1) > div.bookingType > div:nth-child(15) > div.col-md-9 > input').get_attribute("value")

print(output)

这将返回nosuchelementexception错误。

事实上，当我尝试print(html)时，很多源代码数据似乎丢失了。我怀疑这可能是与JS相关的问题，但是Selenium--它大部分时间都在呈现JS--在这个站点上对我不起作用。知道为什么吗？

我也试过这些：

html=driver.page_source

soup=bs4.BeautifulSoup(html,'lxml')

test = soup.find("input",{"class":"inputDisable"})

print(test)

print(soup)

print(test)返回none，而print(soup)返回源，其中大部分输入标记完全丢失。

Answer 1

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
import urllib.request
import time
from bs4 import BeautifulSoup
from datetime import date



URL="https://yourUrl.com"

# Chrome session
driver = webdriver.Chrome("PathOfTheBrowserDriver")
driver.get(URL)
driver.implicitly_wait(100)
time.sleep(5)

soup=bs4.BeautifulSoup(driver.page_source,"html.parser")

在制作汤之前，尝试与您的代码创建一个中断，以便让请求完成它们的工作（一些迟来的请求可能包含您正在查找的内容）

Answer 2

尝试使用find或find_all函数。(https://www.crummy.com/software/Beautifulsoup/bs4/doc/)

from requests import get
from bs4 import BeautifulSoup

url = 'your url'
response = get(url)
html_soup = BeautifulSoup(response.text, 'html.parser')
bs = BeautifulSoup(response.text,"lxml")
test = bs.find("input",{"class":"inputDisable"})

print(test)

Answer 3

通过检查页面检查此网站上是否存在此元素。如果存在，那么很多时候selenium太快，页面有时无法完全加载。尝试selenium的等待功能。

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException

browser = webdriver.Firefox()
browser.get("url")
delay = 3 # seconds
try:
    myElem = WebDriverWait(browser, delay).until(EC.presence_of_element_located((By.ID, 'IdOfMyElement')))
    print "Page is ready!"
except TimeoutException:
    print "Loading took too much time!"