用python抓取JavaScript支持的“Next”按钮时遇到麻烦
我正在尝试刮一个网站学习python和网页刮。特别是，我试图在这个页面上收集足球数据:https://www.whoscored.com/regions/108/tournaments/5/seasons/7468/stages/16548/playerstatistics/italy-serie-a-2018-2019
我的主要问题是如何刮除主数据表的所有页面，而不仅仅是第一个。我试图用selenium来解决这个问题，并分析当我单击“下一步”按钮时浏览器发送的请求，但我遇到了一些麻烦。谢谢你的关注。
共有1个答案
使用浏览器的network选项卡，单击“Next”按钮时，您可以检查每次单击时发送到服务器的实际xhr(AJAX)请求。请求指向以下URL：
https://www.whoscored.com/StatisticsFeed/1/GetPlayerStatistics?category=summary&subcategory=all&statsAccumulationType=0&isCurrent=true&playerId=&teamIds=&matchId=&stageId=16548&tournamentOptions=5&sortBy=Rating&sortAscending=&age=&ageComparisonType=&appearances=&appearancesComparisonType=&field=Overall&nationality=&positionOptions=&timeOfTheGameEnd=&timeOfTheGameStart=&isMinApp=true&page=2&includeZeroValues=&numberOfPlayersToPick=10
请注意“page”查询字符串参数-该参数随着您发出的每一个请求而递增。此外，对每个请求的响应实际上非常容易解析JSON，因此您可以很好地进行解析。
-
我想在我的Mac（OS X 10.10.3）中安装git。我写：brew install git 但它报告说： 更让我困惑的是，在我的finder：/usr/local/中，“include”和“lib”应该是文件夹，但却变成了文件。我怎样才能解决错误“找不到OTool”和安装git与brew和 为什么我的库和包含文件夹变成文件？...谢谢你的帮助！
-
问题内容： -edit2-3小时后，仍然有相同的问题。我正在使用noinstall存档软件包。-编辑-也许有人可以告诉我一种检查表是否存在的更好方法？ 我的函数库中有一个函数来检查是否存在一个表，该表过去我曾问过要怎么做。 我删除了数据库并再次创建了它。我的代码未正确创建表。调试后，我决定编写以下内容。 很奇怪… mydb被删除并再次创建（我写了，应该消失了吗？）。让我们找出存在的东西 我不仅不知
-
问题内容： 我的Android应用程序具有登录屏幕，并且用户登录到他的仪表板。但是我不希望用户每次关闭应用程序并启动时都进行登录（除非他们从仪表板上注销）。因此，我创建了一个类来检查用户是否登录 CheckLoggedIn.java 当用户登录时，我将布尔值更改为，并在注销时更改。但是，当我通过成功登录并关闭并再次启动进行检查时，它仍然进入LoginActivity。为什么？ 编辑：现在，我明白这
-
用selenium去登录temu的网站，为什么每次输入完账号后点击下一步，不会出现出现输入密码的框，他都会自己自动刷新了，又叫我输入账号，有没有大神求一些思路怎么弄？
-
我是新来的React Native，刚刚用React Native init rnapp命令创建了一个应用程序，它发出了许多警告： 然后我转到android文件夹并运行以下命令： 但我明白了： * 有人知道如何修复这个问题，并在这个空应用程序上为Android构建apk文件吗？
-
问题内容： 我正在抓取r / theonion并将标题写入文本文件onion.txt。之后，我打算抓取r / nottheonion并将标题写入文本文件nottheonion.txt。我成功写入了onion.txt，但未写入nottheonion.txt。 问题答案： 无论如何，如果要使用Promise，请使用 和简化代码，而不要重复使用函数。 这未经测试。