使用beautifulsoup从页面中刮取表格时，找不到表格

Question

我一直想把桌子从这里刮下来，但在我看来BeautifulSoup找不到桌子。

我写道：

import requests
import pandas as pd
from bs4 import BeautifulSoup
import csv

url = "http://www.payscale.com/college-salary-report/bachelors?page=65" 
r=requests.get(url)
data=r.text

soup=BeautifulSoup(data,'xml')
table=soup.find_all('table')
print table   #prints nothing..

基于其他类似的问题，我假设HTML在某种程度上被破坏了，但我不是专家…我找不到答案：（Beautiful soup缺少一些html表标签）、（从网站提取表）、（使用Beautiful soup刮表），甚至（Python+Beautiful soup：从网页刮表）

多谢了！

Answer 1

数据位于JavaScript变量中，您应该找到js文本数据，然后使用regex提取它。当您得到数据时，它是json列表对象，其中包含900+school dict，您应该使用json模块将其加载到python列表obejct。

import requests, bs4, re, json

url = "http://www.payscale.com/college-salary-report/bachelors?page=65"
r = requests.get(url)
data = r.text
soup = bs4.BeautifulSoup(data, 'lxml')
var = soup.find(text=re.compile('collegeSalaryReportData'))
table_text = re.search(r'collegeSalaryReportData = (\[.+\]);\n    var', var, re.DOTALL).group(1)
table_data = json.loads(table_text)
pprint(table_data)
print('The number of school', len(table_data))

外出：

 {'% Female': '0.57',
  '% High Job Meaning': 'N/A',
  '% Male': '0.43',
  '% Pell': 'N/A',
  '% STEM': '0.1',
  '% who Recommend School': 'N/A',
  'Division 1 Basketball Classifications': 'Not Division 1 Basketball',
  'Division 1 Football Classifications': 'Not Division 1 Football',
  'Early Career Median Pay': '36200',
  'IPEDS ID': '199643',
  'ImageUrl': '/content/school_logos/Shaw University_50px.png',
  'Mid-Career Median Pay': '45600',
  'Rank': '963',
  'School Name': 'Shaw University',
  'School Sector': 'Private not-for-profit',
  'School Type': 'Private School, Religious',
  'State': 'North Carolina',
  'Undergraduate Enrollment': '1664',
  'Url': '/research/US/School=Shaw_University/Salary',
  'Zip Code': '27601'}]
The number of school 963

Answer 2

虽然这将找不到不在r.text中的表，但您要求BeautifulSoup使用xml解析器，而不是html.parser，因此我建议将该行更改为：

soup=BeautifulSoup（data,“html.parser”）

您将遇到的一个问题是什么是所谓的“客户端呈现的”网站和服务器呈现的网站。基本上，这意味着通过requests模块或curl（例如）从基本html请求获得的页面与在web浏览器中呈现的内容不同。这方面的一些常见框架是React和Angular。如果您检查要刮取的页面的源，它们的几个html元素上都有data-react-ids。角页面的常见区别是具有前缀ng的类似元素属性，例如ng-if或ng-bind。您可以在Chrome或Firefox中通过各自的开发工具看到页面的源代码，这些开发工具可以通过键盘快捷键Ctrl+Shift+I在任一浏览器中启动。值得注意的是，并不是所有的React&Angular页面都只是客户端呈现的。

为了获得这类内容，您需要使用像Selenium这样的无头浏览器工具。关于使用Selenium和Python进行web刮取的资源很多。

Answer 3

您正在解析HTML但您使用了XML解析器。
您应该使用soup=BeautifulSoup（data,“html.parser”）
您必需的数据在script标记中，实际上没有table标记。因此，您需要在script中查找文本。
注意：如果您使用的是Python 2.x，请使用“htmlparser”而不是“html.parser”。

这是密码。

import csv
import requests
from bs4 import BeautifulSoup

url = "http://www.payscale.com/college-salary-report/bachelors?page=65" 
r=requests.get(url)
data=r.text

soup=BeautifulSoup(data,"html.parser")
scripts = soup.find_all("script")

file_name = open("table.csv","w",newline="")
writer = csv.writer(file_name)
list_to_write = []

list_to_write.append(["Rank","School Name","School Type","Early Career Median Pay","Mid-Career Median Pay","% High Job Meaning","% STEM"])

for script in scripts:
    text = script.text
    start = 0
    end = 0
    if(len(text) > 10000):
        while(start > -1):
            start = text.find('"School Name":"',start)
            if(start == -1):
                break
            start += len('"School Name":"')
            end = text.find('"',start)
            school_name = text[start:end]

            start = text.find('"Early Career Median Pay":"',start)
            start += len('"Early Career Median Pay":"')
            end = text.find('"',start)
            early_pay = text[start:end]

            start = text.find('"Mid-Career Median Pay":"',start)
            start += len('"Mid-Career Median Pay":"')
            end = text.find('"',start)
            mid_pay = text[start:end]

            start = text.find('"Rank":"',start)
            start += len('"Rank":"')
            end = text.find('"',start)
            rank = text[start:end]

            start = text.find('"% High Job Meaning":"',start)
            start += len('"% High Job Meaning":"')
            end = text.find('"',start)
            high_job = text[start:end]

            start = text.find('"School Type":"',start)
            start += len('"School Type":"')
            end = text.find('"',start)
            school_type = text[start:end]

            start = text.find('"% STEM":"',start)
            start += len('"% STEM":"')
            end = text.find('"',start)
            stem = text[start:end]

            list_to_write.append([rank,school_name,school_type,early_pay,mid_pay,high_job,stem])
writer.writerows(list_to_write)
file_name.close()

这将在CSV中生成您所需的表。完成后别忘了关闭文件。