如何使用Python提取HTML页面javascript块中定义的JSON对象？
我正在以以下方式下载其中定义了数据的HTML页面：
... <script type= "text/javascript"> window.blog.data = {"activity":{"type":"read"}}; </script> ...
我想提取在“ window.blog.data”中定义的JSON对象。有没有比手动解析更简单的方法？（我正在研究Beautiful
Soap，但似乎找不到一种无需解析即可返回确切对象的方法）
谢谢
编辑： 是否可以使用python无头浏览器（例如Ghost.py）来做到这一点，并且更正确？
问题答案：
BeautifulSoup是一个html解析器；您还需要一个JavaScript解析器。顺便说一句，某些javascript对象文字是无效的json（尽管在您的示例中，文字也是有效的json对象）。
在简单的情况下，您可以：
<script>使用html解析器提取文本- 假设这
window.blog...是一行或';'对象内部没有任何内容，并使用简单的字符串操作或正则表达式提取javascript对象文字 - 假设该字符串是有效的json并使用json模块对其进行解析
例：
#!/usr/bin/env python
html = """<!doctype html>
<title>extract javascript object as json</title>
<script>
// ..
window.blog.data = {"activity":{"type":"read"}};
// ..
</script>
<p>some other html here
"""
import json
import re
from bs4 import BeautifulSoup # $ pip install beautifulsoup4
soup = BeautifulSoup(html)
script = soup.find('script', text=re.compile('window\.blog\.data'))
json_text = re.search(r'^\s*window\.blog\.data\s*=\s*({.*?})\s*;\s*$',
script.string, flags=re.DOTALL | re.MULTILINE).group(1)
data = json.loads(json_text)
assert data['activity']['type'] == 'read'
如果假设不正确，则代码将失败。
为了放松第二个假设，可以使用JavaScript解析器代替正则表达式，例如，slimit（由@approximatenumber建议）：
from slimit import ast # $ pip install slimit
from slimit.parser import Parser as JavascriptParser
from slimit.visitors import nodevisitor
soup = BeautifulSoup(html, 'html.parser')
tree = JavascriptParser().parse(soup.script.string)
obj = next(node.right for node in nodevisitor.visit(tree)
if (isinstance(node, ast.Assign) and
node.left.to_ecma() == 'window.blog.data'))
# HACK: easy way to parse the javascript object literal
data = json.loads(obj.to_ecma()) # NOTE: json format may be slightly different
assert data['activity']['type'] == 'read'
无需将对象文字（obj）视为json对象。为了获得必要的信息，obj可以像其他ast节点一样递归访问。它将允许支持任意javascript代码（可由解析slimit）。
-
问题内容： 如何使用JavaScript获取HTML页面的标题？ 问题答案： 用途：
-
我要提取的数据来自这个网站https://www.adobe.com/support/security/advisories/apsa11-04.html。我只想提取 发布日期：2011年12月6日最后更新：2012年1月10日漏洞标识符:APSA11-04 CVE编号：CVE-2011-2462 代码： 输出： 我不想要这些信息。我该如何过滤呢？ 平台：全部*注意：Adobe Reader fo
-
问题内容： 我正在尝试开发一个简单的网页抓取工具。我想提取没有代码的文本。我实现了这个目标，但是我发现在某些加载了的页面中，我没有获得良好的结果。 例如，如果一些代码添加了一些文本，则看不到它，因为当我调用 我得到的原始文本没有添加文本（因为在客户端执行了）。 因此，我正在寻找一些解决此问题的想法。 问题答案： 一旦安装了，请确保二进制文件在当前路径中可用： 例 举个例子，我用以下HTML代码创建
-
我正在尝试制作一个python脚本，用我所拥有的有限知识从一个网页中刮取特定的信息。但我想我有限的知识是不够的。我需要提取7-8条信息。标签如下- 1 我已使用此代码开始
-
我有下面的html片段，只需要从中间提取文本 Html块看起来像： 因此，所需的输出应该类似于File1、File2、File3。 这就是我迄今为止所尝试的 但没有按预期工作。 有什么简单的解决方案可以在python中指定的html标记块之间提取文本吗？
-
问题内容： 假设您有一个动态生成的网站，过去和现在都有太多人在使用该网站，现在您有了一个包含20,000行CSS的共享样式表集合。它根本没有组织，有一些基于类和基于id的选择器，但也有太多基于标签的选择器。然后说您有100个通过某种控制器使用这些样式的模板。 是否有一个工具（可能类似于Firebug）可以指向一个URL，它将确定该页面的所有适用CSS选择器并将其转储到文件中？基本上是一种逐页撕开共