用Python Beautiful Soup对桌子进行网页刮擦不起作用
我刚开始使用web刮取，希望尝试从该站点刮取表，但当我开始查找表的类时，它不起作用，而是显示none
以下是我的代码：
from bs4 import BeautifulSoup
import requests
import json
url = 'https://www.nseindia.com/market-data/top-gainers-loosers'
headers = {'User-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.192 Safari/537.36'}
r = requests.get(url,headers=headers)
soup = BeautifulSoup(r.text,'html.parser')
table = soup.find('table',{'class':'customTable-widthCorp tableWidth-850 '})
print(table)
下面是代码的输出：输出图像。
如何从站点中刮取表内容？
共有1个答案
可以从API调用中获取数据。如果您检查为csv下载调用的javascript函数，您可以设置、生成url并调用它。
我无法立即看到不使用浏览器下载的方法，所以你可以将url粘贴到例如Chrome中，它就会下载，或者使用selenium和Driver，实现自动下载
url为
https://www.nseindia.com/api/live-analysis-variations？index=gainers&type=nifty&csv=true')
-
最近我一直在用Python和靓汤学习网页刮刮乐。然而，当我试图刮下下面的页面时，我遇到了一点麻烦： http://www.librarything.com/work/3203347 我想从页面上得到的数据是这本书的标签，但我找不到任何方法来获取数据，尽管我花了很多时间在网上拖网。 我试着在网上看了几本指南，但似乎没有一本奏效。我尝试将页面转换为XML和JSON，但仍然找不到数据。 我现在有点手足无
-
你好，我想使用python 3.x和BeautifulSoup从一个带有年龄验证弹出式窗口的网站上刮取数据。如果不点击“是”来表示“你是否超过21岁”，我就无法获得底层的文本和图像。谢谢你的支持。 编辑：谢谢，通过一些注释的帮助，我看到我可以使用cookie，但不确定如何管理/存储/调用请求包中的cookie。 编辑4：取得了一些进展，更新的代码如下。我设法在XML代码中找到了元素，现在我只需要设
-
我需要从一个网站刮去内容（只是标题）。我做了一个页面，但我会需要做的网站上的所有页面。目前，我正在做以下工作： 我知道，当我移动到下一页时，url会发生如下变化： 我尝试使用next_page_url=base_url+next_page_partial构建一个递归函数，但它不会移动到下一页。 我遵循这个问题（和答案）：移动到下一页使用BeautifulSoup刮刮 如果你需要更多的信息请告诉我。
-
试图找出scrapy的工作原理，并使用它在论坛上查找信息。 items.py spider.py 在这个例子中，我试图获取帖子标题的论坛是：https://forum.bodybuilding.nl/fora/supplementen.22/ 然而，我一直没有得到任何结果： 类BodyBuildingSpider（BaseSpider）：2017-10-07 00:42:28[scrapy.uti
-
问题内容： 我的问题是：如何从网站抓取数据，但是直到单击例如“Danhsáchchậm”，该数据才显示。我已经非常认真地尝试，当您单击“Danhsáchchậm”时，这是onclick事件，该事件触发了一些javascript函数js函数之一是从服务器获取数据并将其插入标签/占位符，然后在此时，您可以使用firefox之类的方法检查数据，是的，数据将显示给网页上的用户/查看者。因此，我们又该如何以
-
我正在尝试使用Python中的Selenium从交互式地图中web刮取数据。我一直有困难与代码单击某些按钮以获得数据。第一个“点击”很好，但第二个不起作用。我试过调整时间，但什么都不起作用。我想能够做第二次点击。如有任何帮助，不胜感激，谢谢。下面是我的代码：