解析从BeautifulSoup返回的JavaScript

Question

我想解析网页http://dcsd.nutrislice.com/menu/meadow-
view/lunch/
以获取今天的午餐菜单。（我已经构建了Adafruit #IoT热敏打印机，并且希望每天自动打印菜单。）

我最初使用BeautifulSoup来解决这个问题，但事实证明，大多数数据都已加载到JavaScript中，并且我不确定BeautifulSoup是否可以处理它。如果您查看源代码，则会看到存储在中的相关数据bootstrapData['menuMonthWeeks']。

import urllib2
from BeautifulSoup import BeautifulSoup

url = "http://dcsd.nutrislice.com/menu/meadow-view/lunch/"
soup = BeautifulSoup(urllib2.urlopen(url).read())

这是获取来源和进行审核的简便方法。

我的问题是：提取这些数据以便我可以对其做些什么的最简单方法是什么？从字面上看，我想要的只是一个字符串，例如：

西南奶酪煎蛋卷，薯角，收获棒（THB），THB-俗气的香蒜酱面包，火腿熟食三明治，红辣椒棒，草莓

我曾考虑过使用webkit处理页面并获取HTML（即浏览器的功能），但这似乎不必要地复杂。我宁愿简单地找到可以解析bootstrapData['menuMonthWeeks']数据的内容。

Answer 1

像PhantomJS这样的东西可能更健壮，但是这里有一些基本的Python代码可以提取整个菜单：

import json
import re
import urllib2

text = urllib2.urlopen('http://dcsd.nutrislice.com/menu/meadow-view/lunch/').read()
menu = json.loads(re.search(r"bootstrapData\['menuMonthWeeks'\]\s*=\s*(.*);", text).group(1))

print menu

之后，您需要在菜单中搜索感兴趣的日期。

编辑 ：我的一些过分杀伤力：

import itertools
import json
import re
import urllib2

text = urllib2.urlopen('http://dcsd.nutrislice.com/menu/meadow-view/lunch/').read()
menus = json.loads(re.search(r"bootstrapData\['menuMonthWeeks'\]\s*=\s*(.*);", text).group(1))

days = itertools.chain.from_iterable(menu['days'] for menu in menus)

day = next(itertools.dropwhile(lambda day: day['date'] != '2014-01-13', days), None)

if day:
    print '\n'.join(item['food']['description'] for item in day['menu_items'])
else:
    print 'Day not found.'