我可以从highcharts.js抓取原始数据吗？
我想从显示使用的图形的页面中抓取数据highcharts.js，因此我完成了对所有页面的解析，以到达下一页。但是，最后一页，即显示数据集的页面，highcharts.js用于显示图形，似乎几乎无法访问原始数据。
我将Python 3.5与BeautifulSoup结合使用。
仍然可以解析吗？如果可以，我该如何刮擦？
问题答案：
数据在脚本标签中。您可以使用bs4和正则表达式获取脚本标签。您也可以使用正则表达式提取数据，但我喜欢使用/
js2xml
将js函数解析为xml树：
from bs4 import BeautifulSoup
import requests
import re
import js2xml
soup = BeautifulSoup(requests.get("http://www.worldweatheronline.com/brussels-weather-averages/be.aspx").content, "html.parser")
script = soup.find("script", text=re.compile("Highcharts.Chart")).text
# script = soup.find("script", text=re.compile("precipchartcontainer")).text if you want precipitation data
parsed = js2xml.parse(script)
print js2xml.pretty_print(parsed)
那给你：
<program>
<functioncall>
<function>
<identifier name="$"/>
</function>
<arguments>
<funcexpr>
<identifier/>
<parameters/>
<body>
<var name="chart"/>
<functioncall>
<function>
<dotaccessor>
<object>
<functioncall>
<function>
<identifier name="$"/>
</function>
<arguments>
<identifier name="document"/>
</arguments>
</functioncall>
</object>
<property>
<identifier name="ready"/>
</property>
</dotaccessor>
</function>
<arguments>
<funcexpr>
<identifier/>
<parameters/>
<body>
<assign operator="=">
<left>
<identifier name="chart"/>
</left>
<right>
<new>
<dotaccessor>
<object>
<identifier name="Highcharts"/>
</object>
<property>
<identifier name="Chart"/>
</property>
</dotaccessor>
<arguments>
<object>
<property name="chart">
<object>
<property name="renderTo">
<string>tempchartcontainer</string>
</property>
<property name="type">
<string>spline</string>
</property>
</object>
</property>
<property name="credits">
<object>
<property name="enabled">
<boolean>false</boolean>
</property>
</object>
</property>
<property name="colors">
<array>
<string>#FF8533</string>
<string>#4572A7</string>
</array>
</property>
<property name="title">
<object>
<property name="text">
<string>Average Temperature (°c) Graph for Brussels</string>
</property>
</object>
</property>
<property name="xAxis">
<object>
<property name="categories">
<array>
<string>January</string>
<string>February</string>
<string>March</string>
<string>April</string>
<string>May</string>
<string>June</string>
<string>July</string>
<string>August</string>
<string>September</string>
<string>October</string>
<string>November</string>
<string>December</string>
</array>
</property>
<property name="labels">
<object>
<property name="rotation">
<number value="270"/>
</property>
<property name="y">
<number value="40"/>
</property>
</object>
</property>
</object>
</property>
<property name="yAxis">
<object>
<property name="title">
<object>
<property name="text">
<string>Temperature (°c)</string>
</property>
</object>
</property>
</object>
</property>
<property name="tooltip">
<object>
<property name="enabled">
<boolean>true</boolean>
</property>
</object>
</property>
<property name="plotOptions">
<object>
<property name="spline">
<object>
<property name="dataLabels">
<object>
<property name="enabled">
<boolean>true</boolean>
</property>
</object>
</property>
<property name="enableMouseTracking">
<boolean>false</boolean>
</property>
</object>
</property>
</object>
</property>
<property name="series">
<array>
<object>
<property name="name">
<string>Average High Temp (°c)</string>
</property>
<property name="color">
<string>#FF8533</string>
</property>
<property name="data">
<array>
<number value="6"/>
<number value="8"/>
<number value="11"/>
<number value="14"/>
<number value="19"/>
<number value="21"/>
<number value="23"/>
<number value="23"/>
<number value="19"/>
<number value="15"/>
<number value="9"/>
<number value="6"/>
</array>
</property>
</object>
<object>
<property name="name">
<string>Average Low Temp (°c)</string>
</property>
<property name="color">
<string>#4572A7</string>
</property>
<property name="data">
<array>
<number value="2"/>
<number value="2"/>
<number value="4"/>
<number value="6"/>
<number value="10"/>
<number value="12"/>
<number value="14"/>
<number value="14"/>
<number value="11"/>
<number value="8"/>
<number value="5"/>
<number value="2"/>
</array>
</property>
</object>
</array>
</property>
</object>
</arguments>
</new>
</right>
</assign>
</body>
</funcexpr>
</arguments>
</functioncall>
</body>
</funcexpr>
</arguments>
</functioncall>
</program>
因此，要获取所有数据：
In [28]: from bs4 import BeautifulSoup
In [29]: import requests
In [30]: import re
In [31]: import js2xml
In [32]: from itertools import repeat
In [33]: from pprint import pprint as pp
In [34]: soup = BeautifulSoup(requests.get("http://www.worldweatheronline.com/brussels-weather-averages/be.aspx").content, "html.parser")
In [35]: script = soup.find("script", text=re.compile("Highcharts.Chart")).text
In [36]: parsed = js2xml.parse(script)
In [37]: data = [d.xpath(".//array/number/@value") for d in parsed.xpath("//property[@name='data']")]
In [38]: categories = parsed.xpath("//property[@name='categories']//string/text()")
In [39]: output = list(zip(repeat(categories), data))
In [40]: pp(output)
[(['January',
'February',
'March',
'April',
'May',
'June',
'July',
'August',
'September',
'October',
'November',
'December'],
['6', '8', '11', '14', '19', '21', '23', '23', '19', '15', '9', '6']),
(['January',
'February',
'March',
'April',
'May',
'June',
'July',
'August',
'September',
'October',
'November',
'December'],
['2', '2', '4', '6', '10', '12', '14', '14', '11', '8', '5', '2'])]
就像我说的那样，您可以只使用正则表达式，但是我发现 js2xml 更加可靠，因为错误的空格等。不会破坏它。
-
介绍 有时候，浏览器会通过post发送很多数据。在webpy，你可以这样操作。 代码 class RequestHandler(object): def POST(self): data = web.data() # 通过这个方法可以取到数据
-
课程背景 我们生活在一个充满数据的时代。 每天，来自商业、社会以及我们的日常生活所产生「图像、音频、视频、文本、定位信息」等各种各样的海量数据，注入到我们的万维网（WWW)、计算机和各种数据存储设备，其中万维网则是最大的信息载体。 数据的爆炸式增长、规模庞大和广泛可用的数据，使得我们真正进入到了“大数据（Big Data）时代”。我们急需功能强大的数据处理技术（Data Technology），从
-
问题内容： 我在下面的这段代码中遇到了问题，该代码几乎逐字从Firebase SDK Java文档复制而来。我是真正的语言（例如Java）的新手，它来自PHP和JavaScript的webdev背景。 基本上，addListenerForSingleValueEvent不会触发以向我返回数据。我注意到这是因为系统打印输出不会触发，因此我认为监听事件没有触发。 我怀疑这与我有限的知识有关，函数本身是
-
我正在使用JSoup，这是纯Java中的一个HTML解析器库，从互联网上提取和解析纯HTML页面（当然，只有很少的JS）。到目前为止，如果我想要刮取的数据附加到非常详细的HTML元素（如
-
问题内容： 我尝试将一些数据发布到Wicket网页。如果数据采用表格形式，则效果很好。但是，我想用jQuery的ajax- post发布数据。我无法在我的Page构造函数中获取此数据。 这是我的jquery命令： / testjson是已安装的WebPage。 这是构造函数。我看到的是输入流为空。然而，在调试的时候，我看到了原始数据，我在贴在我的 tl; dr 如何在Wicket页面中获取原始帖子
-
问题内容： 根据php手册或php：// input都不能与POST请求一起使用。 “ php：// input允许您读取原始的POST数据。它是内存占用较少的替代方法，并且不需要任何特殊的php.ini指令。php：// input不适用于。” 如何获取表格的原始数据？ 问题答案： 直接回答：你不能那样做。只要PHP看到multipart / form-data Content- Type，它就