Google应用程序引擎：加载另一个Docker图像以获得Scrapy Splash

Question

我想刮一个javascript网站使用Scrapy飞溅在谷歌应用程序引擎。Splash插件是一个Docker映像。有什么方法可以在谷歌应用引擎中使用它吗？App Engine本身使用Docker映像，但我不确定如何加载和访问辅助映像（这就是Splash的使用方式）。以下是Splash安装说明

Answer 1

单独部署Splash服务是实现这一点的正确方法。

我继续测试了一些不同的设置，唯一允许我在App Engine上使用Splash的方法是将其部署为自定义域，将转发的端口设置为能够通过其IP地址直接连接到服务实例之一。

这显然不是一个合适的解决方案，因为它有很多限制，最终，它基本上变成了使用谷歌计算引擎，而没有它提供的所有控制。

我的建议是，您只将应用程序的Scrapy服务部署到App Engine，并将Splash服务留在其他地方，例如在GCE实例中。

一旦你有了它，你所需要做的就是为实例设置一个静态IP地址，并通过它从应用引擎应用连接到它。

Answer 2

可以在应用引擎灵活环境中使用自定义运行时。

自定义运行时允许构建在Dockerfile定义的环境中运行的应用。通过使用Dockerfile，您可以使用不属于Google Cloud Platform的语言和包，并使用与App Engine灵活环境中使用的相同的资源和工具。

探索有关自定义运行时的更多信息。请注意，当您使用自定义运行时时，您必须编写应用程序代码来处理一些灵活的环境生命周期和健康检查请求。有关详细信息，请检查如何构建自定义运行时。