使用selenium grid docker集群的Webscraping

Question

我在selenium grid docker上工作来刮网站。如果我只使用一个chrome节点，则表示selenium网格正在工作，如果我缩放chrome selenium网格的一个以上节点，而scrapy再次停止工作。它只是闪烁一段时间后，与大的错误信息。

from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
import scrapy
from selenium import webdriver

class ProductSpider(scrapy.Spider):
    name = "product_spider"
    start_urls = ['https://google.com']

    def __init__(self):
        options = webdriver.ChromeOptions()

        options.add_argument('--headless')

        self.driver = webdriver.Remote(command_executor='http://localhost:5000/wd/hub',
            desired_capabilities=DesiredCapabilities.CHROME)


    def parse(self, response):
        data = self.driver.get(response.url)
        print(data,'/////////////')

然后打开python shell并键入代码

Python 3.6.5 (default, Apr  1 2018, 05:46:30) 
[GCC 7.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> from selenium import webdriver
>>> from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
>>> options = webdriver.ChromeOptions()
>>> options.add_argument('--headless')
>>> driver = webdriver.Remote(command_executor='http://localhost:5000/wd/hub',
...             desired_capabilities=DesiredCapabilities.CHROME)

正如您所看到的，它在WebDriver中停止。游标只是闪烁了很长一段时间，然后显示大的错误消息。我认为问题出在webdriver.remote(command_executor='http://localhost:5000/wd/hub',...desired_capabilities=desiredcapabilities.chrome)行。

有人能给出这个问题的解决方案吗？注意，如果selenium网格有一个节点(chrome)，如果我缩放多个节点(chrome)，它就可以工作。

跟踪（最近的调用是最后一次）：文件“”，第1行，在文件“/home/vicky/.local/lib/python3.6/site-packages/selenium/webdriver/remote/webdriver.py”中，第156行，在init self.start_session(capability,browser_profile)文件“/home/vicky/.local/lib/python3.6/site-packages/selenium/webdriver/remote/webdriver.py”中，在第251行，在start_session.error_handler.check_response（响应）文件“/home/vicky/.local/lib/python3.6/site-packages/selenium/webdriver/remote/errorhandler.py”，第242行，在check_response引发exception_class（message,screen,stacktrace）selenium.common.exceptions.webdriverexception：message：Error forwarding the new session Error forward the request Connect to 172.18.0.8:5555andler.process(requesthandler.java:117)在org.openqa.grid.web.servlet.driverservlet.process(DriverServlet.java:84)在org.openqa.grid.web.servlet.driverServlet.doPost(DriverServlet.java:68)在javax.servlet.http.httpservlet.service(httpservlet.java:707)在javax.servlet.http.httpservlet.service(httpservlet.java:790)在在org.seleniumhq.jetty9.server.handler.scopedHandler.nexthandle(ScopedHandler.java:188)在org.seleniumhq.jetty9.server.handler.sessionHandler.doHandle(SessionHandler.java:1595)在org.seleniumhq.jetty9.server.handler.scopedHandler.java:188)在org.seleniumhq.jetty9.server.session.sessionHandler.nexthandle在seleniumHQ.jetty9.server.handler.scopedHandler.nextScope(ScopedHandler.java:168)位于org.seleniumHQ.jetty9.servlet.servlethandler.doscope（Servlethandler.java:473)在org.seleniumhq.jetty9.server.session.sessionhandler.doScope(SessionHandler.java:1564)，在org.seleniumhq.jetty9.server.handler.scopedHandler.nextScope(ScopedHandler.java:166)，在org.seleniumhq.jetty9.server.handler.contextHandler.doScope(contextHandler.java:115)，在9.server.handler.handlerWrapper.handlerWrapper.handlerWrapper.java:132)(handlerWrapper.java:132)(org.seleniumhq.jetty9.server.server.server.handl(server.java:530)(org.seleniumhq.jetty9.server.httpchannel.handl(httpchannel.java:347)(httpchannel.java:347)(httpchannel.java:347)(httpchannel.java:256)(httpconnection.javty9.ioEst.java:102)在org.seleniumhq.jetty9.io.channelendpoint$2.run(channelendpoint.java:124)在org.seleniumhq.jetty9.util.thread.strategy.eatwhatyoukill.dopr在org.seleniumHQ.jetty9.util.thread.strategy.eatwhatyoukill.produce(Eatwhatyoukill.java:247)在org.seleniumHQ.jetty9.util.thread.strategy.eatwhatyoukill.produce(Eatwhatyoukill.java:140)在org.seleniumHQ.jetty9.util.thread.strategy.eatwhatyoukill.jun(eatwhatyoukill.java:131)在hq.jetty9.util.thread.QueuedThreadPool$2.run(QueuedThreadPool.java:626)

我还附上了使用多节点时的selenium网格控制台截图。链接到这里查看图片

Answer 1

看起来您是在用Firefox启动新的Selenium节点，但是您的测试专门针对Chrome。

我建议使用Zalenium来设置您的Selenium网格：https://github.com/zalando/Zalenium