Beautifulsoup和AJAX表问题

Question

我正在编写一个脚本，用于抓取国际StarCraft 2游戏的Team
Liquid数据库的游戏。（http://www.teamliquid.net/tlpd/sc2-international/games）

但是我来提出一个问题。我的脚本遍历所有页面，但是Team
Liquid网站使用了我认为在表中的某种AJAX来更新它。现在，当我使用BeautifulSoup时，我无法获得正确的数据。

所以我遍历这些页面：

http://www.teamliquid.net/tlpd/sc2-international/games#tblt-948-1-1-DESC

http://www.teamliquid.net/tlpd/sc2-international/games#tblt-948-2-1-DESC

http://www.teamliquid.net/tlpd/sc2-international/games#tblt-948-3-1-DESC

http://www.teamliquid.net/tlpd/sc2-international/games#tblt-948-4-1-DESC
等…

当您自己打开这些页面时，您会看到不同的页面，但是我的脚本每次都始终获得相同的首页。我认为这是因为打开其他页面时，您会看到少量加载内容，将少量带有游戏的表更新到正确的页面。因此，我想beatifulsoup速度很快，需要等待表的加载和更新完成。

所以我的问题是： 我如何确保它使用更新的表？

现在，我使用此代码获取表的内容，然后将内容放入.csv中：

html = urlopen(url).read().lower()
bs = BeautifulSoup(html)
table = bs.find(lambda tag: tag.name=='table' and tag.has_key('id')
                and tag['id']=="tblt_table") 
rows = table.findAll(lambda tag: tag.name=='tr')

Answer 1

当您尝试使用AJAX抓取网站时，最好查看javascript代码的实际作用。在许多情况下，它只检索XML或HTML，比非AJAXy内容更容易抓取。它只需要查看一些源代码。

在您的情况下，站点从特殊URL本身（而不是刷新整个页面）检索表控件的HTML代码，并在浏览器DOM中动态替换它。查看http://www.teamliquid.net/tlpd/tabulator/ajax.js，您会看到此URL的格式如下：

_http://www.teamliquid.net/tlpd/tabulator/update.php?tabulator_id=1811 &
tabulator_page = 1 ＆tabulator_order_col = 1＆tabulator_order_desc =
1＆tabulator_Search＆tabulator_search =_

因此，您要做的就是直接使用BeautifulSoup抓取此URL，并在每次需要下一页时都推进tabulator_page计数器。