用Python抓取网页：非类型错误，不能抓取表的数据

Question

这是我第一次尝试编码，所以请原谅我的粗鲁。我试图通过以下链接来学习网页刮刮：https://data.gov.sg/dataset/industrial-arbitry-court-arwards-by-nature-of-trade-distrates？view_id=d3e444ef-54ed-4d0b-b715-1ee465f6d882&resource_id=c24d0d00-2d12-4f68-8fc9-4121433332e0

我真的花了几个小时来弄清楚我的代码有什么问题：

import csv
import requests
from BeautifulSoup import BeautifulSoup

url = 'https://data.gov.sg/dataset/industrial-arbitration-court-awards-by-nature-of-trade-disputes?view_id=d3e444ef-54ed-4d0b-b715-1ee465f6d882&resource_id=c24d0d00-2d12-4f68-8fc9-4121433332e0'
response = requests.get(url)
html = response.content

soup = BeautifulSoup(html" target="_blank">html)
table = soup.find('tbody')

list_of_rows = []
for row in table.find('tr'):
    list_of_cells = []
    for cell in row.findAll('td'):
        list_of_cells.append()
    list_of_rows.append(list_of_cells)

outfile = open("./indarb.csv","wb")
writer = csv.writer(outfile)

然后，我的终端吐出这样的话：“nonetype”对象没有属性“find”，说第13行有一个错误。不确定它是否有助于查询，但这是我尝试的列表：

“find”/“find all”的不同排列

• 将“.find”改为“.findall”
• 使用了“.find”而不是“.findall”

第10行的不同排列

• 尝试了soup.find（“tbody”）
• 尝试了soup.find（“table”）
• 打开源代码，尝试soup.find（“table”，attrs={“class”：“table table-condensed”}）

第13行的不同排列

• 类似地只使用'tr'标记；或
• 尝试添加“attrs={}”内容

我真的试过了，但不明白为什么我不能刮取那个简单的10行表。如果有人能发布有效的代码，那就太棒了。谢谢你的耐心！

Answer 1

您有几个错误，最大的错误是您使用了BeautifulSoup3，它已经开发多年了，您应该使用bs4，您还需要使用find_all当您想要多个标记时。此外，您还没有将cell传递给第13行的list_of_cells.append()，这是导致其他错误的原因：

from bs4 import BeautifulSoup

url = 'https://data.gov.sg/dataset/industrial-arbitration-court-awards-by-nature-of-trade-disputes?view_id=d3e444ef-54ed-4d0b-b715-1ee465f6d882&resource_id=c24d0d00-2d12-4f68-8fc9-4121433332e0%27'
response = requests.get(url)
html = response.content

soup = BeautifulSoup(html)
table = soup.find('table')

list_of_rows = []
for row in table.find_all('tr'):
    list_of_cells = []
    for cell in row.find_all('td'):
        list_of_cells.append(cell)
    list_of_rows.append(list_of_cells)

我不确定您到底想要什么，但这会从页面上的第一个表追加tds。如果你真的想要这些数据，你还可以使用和api，以及adownloadable csv。

Answer 2

您在代码中请求的URL不是HTML而是JSON。