使用lxml刮擦动态html字段

Question

from lxml import html
import requests
page = requests.get('http://www.airmilescalculator.com/distance/blr-to-cdg/')
tree = html.fromstring(page.content)
miles = tree.xpath('//input[@class="distanceinput2"]/text()')
print miles

提前感谢你的帮助。

Answer 1

不能从输入字段中选择文本节点，因为没有文本节点。

<input type="text" class="distanceinput2" .. />

若要从输入字段中获取值，请使用：

miles = [node.value for node in tree.xpath('//input[@class="distanceinput2"]')]

你应该去拿。

from pyvirtualdisplay import Display
display = Display(visible=0)
display.start()

from splinter import Browser

url = 'http://www.airmilescalculator.com/distance/blr-to-cdg/'

browser = Browser()
browser.visit(url)
browser.find_by_id('haemulti')[0].click()

print browser.find_by_id('totaldistancemiles')[0].value
print browser.find_by_id('totaldistancekm')[0].value
print browser.find_by_id('nauticalmiles')[0].value

browser.quit()


display.stop()

$python test.py 
4868
7834
4230