将压缩的XML提要解析为ElementTree

Question

我正在尝试将以下feed解析为python中的ElementTree：“
http://smarkets.s3.amazonaws.com/oddsfeed.xml
”（警告大文件）

到目前为止，这是我尝试过的：

feed = urllib.urlopen("http://smarkets.s3.amazonaws.com/oddsfeed.xml")

# feed is compressed
compressed_data = feed.read()
import StringIO
compressedstream = StringIO.StringIO(compressed_data)
import gzip
gzipper = gzip.GzipFile(fileobj=compressedstream)
data = gzipper.read()

# Parse XML
tree = ET.parse(data)

但是它似乎只是挂在上面compressed_data = feed.read()，也许是无限地？？（我知道这是一个大文件，但与我解析的其他非压缩提要相比似乎太长了，而这个大文件首先会扼杀gzip压缩带来的任何带宽增长）。

接下来我尝试requests了

url = "http://smarkets.s3.amazonaws.com/oddsfeed.xml"
headers = {'accept-encoding': 'gzip, deflate'}
r = requests.get(url, headers=headers, stream=True)

但现在

tree=ET.parse(r.content)

要么

tree=ET.parse(r.text)

但是这些提出了例外。

正确的方法是什么？

Answer 1

该ET.parse函数采用“包含XML数据的文件名或文件对象”。您正在为其提供一个包含XML的字符串。它将尝试打开一个文件，该文件的名称就是XML的很大一部分。可能没有这样的文件。

您需要fromstring函数或XML构造函数。

或者，如果愿意，您已经有了一个文件对象gzipper；您可以将其传递给parse而不是将其读取为字符串。

文档中的简短教程涵盖了所有内容：

我们可以通过读取文件来导入此数据：

import xml.etree.ElementTree as ET
tree = ET.parse('country_data.xml')
root = tree.getroot()

或直接从字符串中：

root = ET.fromstring(country_data_as_string)