美丽的汤来解析URL以获取另一个URL数据

Question

我需要解析一个URL以获得链接到详细信息页面的URL列表。然后，需要从该页面获取该页面的所有详细信息。我需要这样做，因为详细信息页面的URL不会定期增加和更改，但是事件列表页面却保持不变。

基本上：

example.com/events/
    <a href="http://example.com/events/1">Event 1</a>
    <a href="http://example.com/events/2">Event 2</a>

example.com/events/1
    ...some detail stuff I need

example.com/events/2
    ...some detail stuff I need

Answer 1

import urllib2
from BeautifulSoup import BeautifulSoup

page = urllib2.urlopen('http://yahoo.com').read()
soup = BeautifulSoup(page)
soup.prettify()
for anchor in soup.findAll('a', href=True):
    print anchor['href']

它会给你URL列表。现在，您可以遍历这些URL并解析数据。

• inner_div = soup.findAll("div", {"id": "y-shade"}) 这是一个例子。您可以阅读BeautifulSoup教程。