使用xpath从格式不好的页面解析XML

Question

注意：在写这个问题时，我注意到有一个Github API可以在不进行HTML解析的情况下解决我的问题：https://api.github.com/repos/mozilla/geckodriver/releases/latest我决定问它，因为我知道如何解决所描述的解析格式错误的HTML本身的问题。所以请不要投反对票，因为有一个github API！我们可以用任何其他页面抛出验证错误来替换github。

我想下载geckodriver的最新版本。通过获取最新标记的重定向目标，我进入了发布页面

curl $(curl -s "https://github.com/mozilla/geckodriver/releases/latest" --head | grep -i location | awk '{print $2}' | sed 's/\r//g') > /tmp/geckodriver.html

使用geckodriver vx的第一批资产。xxx-linux64。焦油gz是必需的链接。因为XML是schemantic，所以应该正确地解析它。像xmllint这样的不同工具可以使用XPath解析它。因为xpath对我来说是新的，所以我尝试了一个简单的头部查询。但是xmllint抛出了很多错误：

$ xmllint --xpath '//div[@class=Header]' /tmp/geckodriver.html
/tmp/geckodriver.html:51: parser error : Specification mandate value for attribute data-pjax-transient
  <meta name="selected-link" value="repo_releases" data-pjax-transient>
                                                                      ^
/tmp/geckodriver.html:107: parser error : Opening and ending tag mismatch: link line 105 and head
  </head>
         ^
/tmp/geckodriver.html:145: parser error : Entity 'nbsp' not defined
                Sign&nbsp;up
                          ^
/tmp/geckodriver.html:172: parser error : Entity 'rarr' not defined
es <span class="Bump-link-symbol float-right text-normal text-gray-light">&rarr;
...

还有很多。github页面似乎没有按照规范的要求正确构建。我还尝试了xmlstarlet

xmlstarlet sel -t -v -m '//div[@class=Header]' /tmp/geckodriver.html

但结果是相似的。

当超文本标记语言没有很好地形成时，是否不可能使用这些工具提取一些数据？

Answer 1

curl$（curl-s"https://github.com/mozilla/geckodriver/releases/latest"--head|grep-i位置|awk'{print 2美元}'|se's/\r//g'）

使用-L可能更简单，并让curl遵循重定向：

curl -L https://github.com/mozilla/geckodriver/releases/latest

然后，xmllint接受一个--html参数，以使用html解析器：

xmllint --html --xpath '//div[@class=Header]'

然而，这与该页面上的任何内容都不匹配，因此您可能希望将XPath基于以下内容：

'string((//a[span[contains(.,"linux")]])[1]/@href)'

其产生：

/mozilla/geckodriver/releases/download/v0.26.0/geckodriver-v0.26.0-linux32.tar.gz