Python网页抓取（Beautiful Soup、Selenium和PhantomJS）：只抓取整个页面的一部分

Question

你好，我有麻烦试图刮数据从一个网站的建模目的（Fantsylabs dotcom）。我只是一个黑客，所以原谅我对comp sci行话的无知。我想完成的是...

>

使用selenium登录网站，导航到有数据的页面。

## Initialize and load the web page
url = "website url"
driver = webdriver.Firefox()
driver.get(url)
time.sleep(3)

## Fill out forms and login to site
username = driver.find_element_by_name('input')
password = driver.find_element_by_name('password')
username.send_keys('username')
password.send_keys('password')
login_attempt = driver.find_element_by_class_name("pull-right")
login_attempt.click()

## Find and open the page with the data that I wish to scrape
link = driver.find_element_by_partial_link_text('Player Models')
link.click()
time.sleep(10)

##UPDATED CODE TO TRY AND SCROLL DOWN TO LOAD ALL THE DYNAMIC DATA
scroll = driver.find_element_by_class_name("ag-body-viewport")
driver.execute_script("arguments[0].scrollIntoView();", scroll)

## Try to allow time for the full page to load the lazy way then pass to BeautifulSoup
time.sleep(10)
html2 = driver.page_source

soup = BeautifulSoup(html2, "lxml", from_encoding="utf-8")
div = soup.find_all('div', {'class':'ag-pinned-cols-container'})
## continue to scrape what I want

这个过程的工作原理是登录，导航到正确的页面，但是一旦页面完成动态加载（30秒），就把它传递给美丽的汤。我在表中看到大约300个实例，我想刮......然而，bs4刮刀只吐出了300个实例中的30个。从我自己的研究来看，这可能是通过javascript动态加载数据的问题，只有推送到html的内容才会被bs4解析？说明：使用Pythonrequests.get解析一次不加载的html代码

对于任何提供建议的人来说，在没有在网站上创建个人资料的情况下复制我的例子可能很难，但是使用phantomJS初始化浏览器是否就是“抓取”所有实例以捕获所有所需数据所需要的全部？

    driver = webdriver.PhantomJS() ##instead of webdriver.Firefox()

任何想法或经验都将受到赞赏，因为我从来没有处理过动态页面/抓取javascript，如果这是我遇到的。

Alecs回复后更新：

下面是目标数据的屏幕截图（以蓝色突出显示）。您可以看到图像右侧的滚动条，它嵌入在页面中。我还提供了该容器中页面源代码的视图。

我已经修改了我提供的原始代码，试图向下滚动到底部并完全加载页面，但它无法执行此操作。当我将驱动程序设置为Firefox（）时，我可以看到页面通过外部滚动条向下移动，但不在目标容器内。我希望这是有道理的。

再次感谢您的建议/指导。

Answer 1

这不容易回答，因为我们没有办法重现这个问题。

一个问题是lxml不能很好地处理这种特定的超文本标记语言，您可能需要尝试更改解析器：

soup = BeautifulSoup(html2, "html.parser")
soup = BeautifulSoup(html2, "html5lib")

此外，首先可能不需要BeautifulSoup。您可以使用selenium以多种不同的方式定位元素。例如，在这种情况下：

for div in driver.find_elements_by_css_selector(".ag-pinned-cols-container'"):
    # do smth with 'div'

也可能是当你将页面向下滚动时，数据是动态加载的。在这种情况下，您可能需要将页面向下滚动，直到您看到所需的数据量或滚动时没有更多的新数据加载。以下是相关线程与示例解决方案：

• 使用selenium python webdriver滚动网页
• 使用Python中的PhantomJS向下滚动到无限页面的底部
• 使用Selenium缓慢向下滚动页面
• 使用Python中的Selenium停止动态页面中的滚动