我正在抓取一些似乎对其提供很好保护的网站。我可以使它正常工作的唯一方法是使用Selenium加载页面,然后从中抓取内容。
目前,这在我的本地计算机上有效(当我访问页面时,Firefox窗口打开和关闭,并且在脚本中对其HTML进行了进一步处理)。但是,我需要在网上可以访问我的刮板。刮板嵌入在Heroku上的Flask应用程序中。有没有办法让Selenium浏览器在Heroku服务器上工作?还是有任何托管提供商可以在其中工作?
Heroku确实很棒,它的主要局限性在于它不能使用自定义软件,或者在许多情况下不能使用库。通过提供易于使用的,集中控制的托管堆栈,Heroku精简了服务器,以防止其他用途。
归结为,Heroku
dyno上没有Xorg。Xorg的缺乏和安装自定义软件的能力也意味着没有xvfb,也没有运行硒预期存在的浏览器的能力。此外,浏览器通常不可用。
借助AWS这样的云产品,您会更加幸运,您可以在其中安装自定义软件,包括firefox,xvfb(以免需要所有Xorg开销),当然还有其余的抓取堆栈。说明了如何正确执行。
我一直试图在浏览器localhost:8080上运行它,但它说“站点无法到达”,尽管它说Tomcat在终端中运行 我通过从网站下载二进制版本安装了它。 这是加泰罗尼亚,出去 这是grep tomcat 根38084 0.1 1.0 6062688 80312 s000 S 8:54AM 0:15.59/library/java/javavirtualmachines/jdk1.8.0_91.jdk
在本节中,我们将学习如何在IE浏览器上运行Selenium测试脚本。 Internet Explorer使用Internet Explorer驱动程序服务器实现WebDriver协议。 Internet Explorer驱动程序服务器是Selenium和Internet Explorer浏览器中的测试之间的链接。 下面来看看一个测试用例,尝试在IE浏览器中自动化测试以下场景。 启动IE浏览器。 打
主要内容:Gecko Driver是什么?在本节中,我们将学习如何在Firefox浏览器上运行Selenium测试脚本。在继续本节之前,先来了解一下Gecko Driver的基础知识。 Gecko Driver是什么? Gecko一词指的是由Mozilla基金会开发的Gecko浏览器引擎,它用作为Mozilla浏览器的一部分。 Gecko Driver是Selenium和Firefox浏览器中测试之间的链接。 它充当W3C WebDriv
在本节中,将学习如何在Chrome浏览器上运行Selenium测试脚本。 Chrome浏览器使用名为 的可执行文件实现WebDriver协议。此可执行文件在系统上启动服务器,而该服务器又负责在Selenium中运行测试脚本。 考虑一个测试用例,在Google Chrome浏览器中自动执行以下测试方案。 启动Chrome浏览器。 最大化浏览器。 打开URL:www.yiibai.com 向下滚动浏览
问题内容: 我正在尝试在Brave Web浏览器上运行一些Selenium测试。我可以使用ChromeDriver通过Selenium启动Brave Web浏览器。但是,没有其他办法,例如,我无法使Brave加载某个网页。 由于Brave基于Chromium,因此我认为这是可行的方法。有没有更合适的方法来支持Brave被Selenium驱动? 这是我使用的de代码: 问题答案: 记录在案:自从Br
本文向大家介绍python能在浏览器能运行吗,包括了python能在浏览器能运行吗的使用技巧和注意事项,需要的朋友参考一下 py文件不是html文件,当然不能在浏览器里打开。py文件可以用任何编辑器打开,py文件是和txt一样都是普通的文本文件,只是python解释器可以解释运行。 常见用的python编辑器有 pycharm 这是一个专门用于Python开发的IDE,常见的代码补全、智能提示、语