在不打开浏览器的情况下使用python从网站获取元素

Question

我正在尝试编写一个python脚本，它解析网站中的一个元素并简单地打印出来。

如果没有selenium的webdiver，我想不出如何实现这一点，以便打开一个处理脚本以正确显示网站的浏览器。

from selenium import webdriver
browser = webdriver.Firefox()
browser.get('http://groceries.asda.com/asda-webstore/pages/landing/home.shtml#!product/910000800509')
content = browser.page_source
print(content[42000:43000])
browser.close()

这只是一份草稿，将打印内容，包括感兴趣的元素

如果没有打开浏览器，或者甚至没有浏览器，我如何获得感兴趣的元素？

编辑：我以前尝试过使用urllib或bashwget，这两种方法都缺少所需的javascript解释。




Answer 1

如果没有打开浏览器，或者甚至没有浏览器，我如何获得感兴趣的元素？

检查您尝试分析的页面后：

http://groceries.asda.com/asda-webstore/pages/landing/home.shtml#！产品/910000800509

我意识到，只有启用了javascript时，它才会显示内容，基于此，您需要使用真正的浏览器。

结论:

如果您需要实现自动化，可以采取以下措施：

硒

Answer 2

正如其他答案所提到的，这个网页需要javascript来呈现内容，所以你不能简单地用lxml、美丽汤或类似的库来获取和处理页面。但是有一个更简单的方法来获得你想要的信息。

我注意到您提供的链接以结构化的方式从内部应用编程接口获取数据。产品编号似乎是基于url的910000800509。如果您查看Chrome开发工具（或浏览器的等效开发工具）中的网络选项卡，您将看到一个GET请求正在向以下URL发出：http://groceries.asda.com/api/items/view?itemid=910000800509.

您可以使用json和请求模块发出这样的请求：

import json
import requests

url = 'http://groceries.asda.com/api/items/view?itemid=910000800509'
r = requests.get(url)
price = r.json()['items'][0]['price']

print price
£13.00

这还允许您访问有关产品的许多其他信息，因为请求返回一些包含产品详细信息的JSON。