使用BeautifulSoup或LXML.HTML进行Web爬网

Question

我已经看过一些网络广播，并且在尝试执行此操作时需要帮助：我一直在使用lxml.html。雅虎最近改变了网络结构。

目标页面；

http://finance.yahoo.com/quote/IBM/options?date=1469750400&straddle=true

在Chrome中使用检查器：我在

 //*[@id="main-0-Quote-Proxy"]/section/section/div[2]/section/section/table

然后再写一些代码

如何将这些数据放入列表中。我想将其他股票从“ LLY”更改为“ Msft”吗？
我该如何在日期之间切换....并获得所有月份。

Answer 1

将答案基于@hoju：

import lxml.html
import calendar
from datetime import datetime

exDate  = "2014-11-22"
symbol  = "LLY"
dt      = datetime.strptime(exDate, '%Y-%m-%d')
ym      = calendar.timegm(dt.utctimetuple())

url     = 'http://finance.yahoo.com/q/op?s=%s&date=%s' % (symbol, ym,)
doc     = lxml.html.parse(url)
table   = doc.xpath('//table[@class="details-table quote-table Fz-m"]/tbody/tr')

rows    = []        
for tr in table:
     d = [td.text_content().strip().replace(',','') for td in tr.xpath('./td')]
     rows.append(d)

print rows