从奇怪的仪表板格式中刮取数据

Question

我正在收集COVID疫苗接种数据，并尝试使用Python从这个站点中删除疫苗编号（第一个--“接受1剂疫苗的人”）。我尝试使用BeautifulSoup提取HTML,然后通过XPath或属性进行搜索。当然，首先，我使用BeautifulSoup解析页面：

rhode_island = BeautifulSoup(requests.get('https://ri-department-of-health-covid-19-data-rihealth.hub.arcgis.com').content, 'html.parser')

但是这个HTML输出看起来与页面上的实际HTML完全不一样--相反，它只是一行又一行的如下内容：

%22%5D%7D%2C%22validationClasses%22%3A%7B%22fieldSuccess%22%3A%5B%22field-success%22%5D%2C%22fieldError%22%3A%5B%22field-error%22%5D%2C%22controlSuccess%22%3A%5B%22control-success%22%5D%2C%

我不是很确定这里发生了什么--我尝试了几种不同的方法（LXML,Beautiful Soup）,但两种方法都返回了这个奇怪的结果。结果，我无法刮出我要找的信息，因为它似乎不是真正的HTML，（我试过了，刮失败了）。

有没有人知道我可以做什么来删除这些数据？

Answer 1

该页面是Javascript版的，需要一个浏览器来正确呈现数据，并且在引擎盖下使用了ArcGIS REST API。

或者用selenium之类的东西在浏览器中加载页面，或者查看他们从何处获取数据--在本例中，似乎是一个covid_public_map_test数据集，您可以查询：

In [1]: import requests

In [2]: session = requests.Session()

In [3]: session.headers = {'Accept': '*/*', 'Content-Type': 'application/x-www-form-urlencoded'}

In [4] response = session.get('https://services1.arcgis.com/dkWT1XL4nglP5MLP/arcgis/rest/services/COVID_Public_Map_TEST/FeatureServer/2/query', params={'f': 'json', 'where': '1=1', 'returnGeometry': 'false', 'outFields': '*'})

In [5]: data = response.json()  

In [5]: data
Out[5]: 
{'objectIdFieldName': 'OBJECTID',
 'uniqueIdField': {'name': 'OBJECTID', 'isSystemMaintained': True},
 'globalIdFieldName': '',
 'fields': [{'name': 'OBJECTID',
   'type': 'esriFieldTypeOID',
   'alias': 'OBJECTID',
...
    'New_Covid_Fatality_Today': 23}},
  {'attributes': {'OBJECTID': 40,
    'City_Town': 'WOONSOCKET',
    'Count_of_COVID_19_Positive': 27,
    'Rate_per_1k': 0.00027,
    'Population_per': 99999,
    'Date': 1586304000000,
    'Covid_case': 77812,
    'Covid_Deaths': 1625,
    'Covid_Positive_Today': 395,
    'Total_Hospitalized': 459,
    'Covid_ICU': 56,
    'Covid_Ventilator': 29,
    'Total_Covid_Lab_Tests': 1817360,
    'Negative_Covid_Lab_Tests': 1723464,
    'New_Covid_Fatality_Today': 23}}]}

您可以通过outstatistics查询参数进行聚合。

或者，更好的是，研究如何使用Python ArcGIS API以更方便的方式完成同样的操作。