当前位置: 首页 > 面试题库 >

单击Scrapy中的按钮

束敏学
2023-03-14
问题内容

我正在使用Scrapy爬行网页。单击某些按钮时,仅会弹出一些我需要的信息(当然,单击后也会显示在HTML代码中)。

我发现Scrapy可以处理的形式(如登录)如图所示这里。但是问题在于没有表格可以填写,所以这不是我所需要的。

如何简单地单击一个按钮,然后显示我需要的信息?

我是否必须使用诸如机械化或lxml之类的外部库?


问题答案:

Scrapy无法解释javascript。

如果你绝对必须与页面上的javascript进行交互,则希望使用Selenium。

如果使用Scrapy,问题的解决方案取决于按钮的作用。

如果只是显示以前隐藏的内容,则可以毫无问题地抓取数据,也不会出现在浏览器中,HTML仍然存在。

如果它是在按下按钮时通过AJAX动态获取内容的,那么最好的办法就是使用Firebug等工具查看按下按钮时发出的HTTP请求。然后,你可以直接从该URL请求数据。

我是否必须使用诸如机械化或lxml之类的外部库?

如果要解释javascript,是的,你需要使用其他库,尽管这两者都不适合。他们俩都不了解javascript。Selenium是要走的路。

如果你可以提供要抓取的页面的URL,我可以看一下。



 类似资料:
  • 我正在尝试在Selenium中测试图像按钮点击。 图像是事件,当我点击sgt消息出现我 超文本标记语言代码:

  • 在我的应用程序中,我有一个按钮。单击和双击按钮后,将执行单独的操作。我该怎么做?谢谢

  • 问题内容: 我无法相信这行不通。 我有一个JList。我将其渲染器设置如下。基本上是一个带有两个标签和一个按钮的JPanel。 这是我的TopBottomCellRenderer。 该列表可正确呈现,但不可单击。单击它没有任何作用。 我该如何工作? 问题答案: 渲染器只是在组件上绘制的“橡皮图章”。它们不是实时的交互式组件。 请参阅以下答案:JList中的JButton以获得一种可能的解决方案。实

  • 问题内容: 模拟按钮单击似乎是非常简单/标准的操作。但是,我无法在Jest.js测试中使用它。 这是我尝试过的(也可以使用jquery进行此操作),但似乎没有触发任何操作: 问题答案: #1使用笑话 这就是我使用笑话嘲笑回调函数来测试click事件的方式 我还使用了一个称为酶的模块 酶是一种测试实用程序,可让您更轻松地断言和选择您的React组件 #2使用Sinon 另外,您可以使用另一个称为si

  • 我正试图抓取一个页面,获取一盘国际象棋的移动列表,该列表位于右侧菜单的“移动”选项卡下。 在浏览器中手动单击“移动”选项卡时,我可以通过 哪个(正确地)返回 当尝试通过单击按钮时,使用 似乎什么都没有发生,我不知道如何进行故障排除。 如何通过模拟单击(活动事件侦听器)切换到“移动”选项卡? 额外提示:是否可以使用rvest软件包?

  • 问题内容: 我正在尝试在www.meetme.com上发送消息,但不知道该怎么做。我可以在评论区域中键入消息,但是单击“发送”按钮不会执行任何操作。我究竟做错了什么?当我登录并按登录按钮时,页面确实发生了变化,一切都很好。有人有任何想法或线索吗? 问题答案: 如果不了解正在访问的网页,就无法在禁用JavaScript的情况下执行AJAX请求。如果更改未成功,则必须继续进行调试,但请确保已启用Jav