Scrapy,Python：无法使用firebug中的xpath提取数据

Question

我对web刮刮、scrapy和Python都是新手。我试着从这个网站页面刮数据。

我想提取页面页脚中给出的电子邮件id:[e-mail]，并尝试使用两个XPath在scrapy Spider中提取：

1. 相对：id（“gkfooternav”）/div/p/span/a/text（）
2. 绝对：/html/body/div[4]/div1/div/div/div/p/span/a/text()

我试过使用和不使用'text()'的最后一个组件的这些XPath。这些都没有工作，蜘蛛返回一个空列表。

但是，当我用xpath检查器检查这些时，我得到了正确的值。不知道这里出了什么问题。有人能帮忙吗？

谢谢，图希娜

Answer 1

如果您解析该站点并查看内容，您会看到来自该站点的消息：

This e-mail address is being protected from spambots. You need JavaScript enabled to view it.

因此您需要执行JavaScript来访问电子邮件地址。或者，您可以从文本上面的JavaScript中提取电子邮件地址，并相应地转换它--甚至不执行任何JavaScript。