用漂亮的汤刮Flipkart网页

Question

我试图刮此页上Flipkart：

http://www.flipkart.com/moto-x-play/p/itmeajtqp9sfxgsk?pid=MOBEAJTQRH4CCRYM

我试图找到的div类"fk-ui-ccarousel超级容器相同的vreco部分reco-carousel-边界-顶部sameHorizontalReco"，但它返回空结果。

from bs4 import BeautifulSoup
import requests

url = "http://www.flipkart.com/moto-x-play/p/itmeajtqp9sfxgsk?pid=MOBEAJTQRH4CCRYM&ref=L%3A7224647610489585789&srno=p_1&query=moto%20x%20play&otracker=from-search"

page = requests.get(url)

soup = BeautifulSoup(page.text)

divs = soup.find_all("div",{"class":"fk-ui-ccarousel-supercontainer same-vreco-section reco-carousel-border-top sameHorizontalReco"})

print divs

divs是空的。我使用inspect元素复制了类名。

我在这个问题中找到了答案。http://www.google.com/url?q=http：//stackoverflow.com/questions/22028775/tried-python-beautifulsoup-and-phantom-js-still-cant-scrape-websites

Answer 1

请求。得到（…）将返回该url上的纯HTTP GET内容。页面包含的所有Javascript rel都不会被下载，而且任何内联Javascript也不会被执行。

如果flipkart在DOM加载到浏览器后使用js修改DOM，这些更改将不会反映在page.contents或page.text值中。

您可以在漂亮的汤中尝试不同的解析器，而不是默认的解析器。我试了html5lib，它适用于不同的网站。它将比默认解析器慢，但可能比selenium或其他成熟的无头浏览器快。

Answer 2

当您使用请求时。获取（url）在未启用JavaScript的情况下加载url的HTML内容。如果未启用JavaScript，页面中名为“查看此产品的客户也已查看”的部分甚至从未呈现过。

您可以通过关闭浏览器中的JavaScript来探索这种行为。如果你经常刮，你可能还想下载一个JavaScript切换器插件。

您可能希望研究的另一种方法是使用浏览器自动化工具，如selenium。