当前位置: 首页 > 知识库问答 >
问题:

EC2容器服务vs Apache Mesos

赵开诚
2023-03-14

我们希望使用Docker容器在集群环境中运行我们的批处理作业。我们正在评估使用AWS ECS容器服务/Chronos/Mesos。据我所知,Apache Mesos与EC2有一些重叠的特性/用途,比如集群管理。Chronos是一个分布式调度程序。

我有dificult关联所有这些技术来创建一个架构!

EC2服务取代Mesos?调度器呢?

目前,我们还没有运行分布式作业,比如hadoop作业或sparks作业。我们的工作要简单得多,可以在EC2的单个实例上运行。我们计划使用Docker来运行批处理作业。

共有1个答案

西门飞翮
2023-03-14

我认为这取决于批处理作业的类型,但Apache Mesos生态系统肯定比ECS更灵活,以满足您的需求。这种灵活性来自于这样一个事实,Mesos使用了所谓的两级调度模型,这是一个奇怪的名称,因为它将调度决策外包到框架中(而不是试图在其核心本身实现每一个现有的和未来的工作负载调度策略)。

你已经提到过一个这样的框架,Chronos,它是一个很好的工作马,只是可能不使用jobs的依赖关系,好吗?然后还有另一个伟大的批处理框架叫做Cook。根据您的需要(例如,基于SQL的批处理报告生成),您可以使用Apache Spark。等等等等。

顺便说一下,我是否已经提到过,使用Mesos,您可以根据需要将其完全部署在一个云(如AWS)、混合云(如AWS和GCP/Azure)或内部,而不冒供应商锁定的风险?

更新:澄清一下,当然Mesos有一流的Docker支持。

 类似资料:
  • 我目前有一个带有docker容器的EC2,但有人告诉我,简单地运行它是不够好的,EC2容器服务可以提供更多的功能,包括自动重启docker和保持日志记录。 我试图按照文档设置EC2容器服务,但我发现命名约定相当混乱。 通过将aws ecr get-login命令从控制台粘贴到终端窗口中,检索docker登录命令,您可以使用该命令对docker客户端进行身份验证。 这个“控制台”和“终端”指的是什么

  • 我对AWS很陌生,已经测试过启动一个实例,如下所示: 下面是附加了入站规则的安全组 我的问题是无法ping此服务器。我能知道我是否理解错了什么吗?

  • 简介 Laravel 的服务容器是一个管理类依赖和执行依赖注入的强力工具。依赖注入是个花俏的名词,事实上是指:类的依赖通过构造器或在某些情况下通过「setter」方法「注入」。 不同于 Laravel Lumen 使用了与 Laravel 框架相同的服务容器,所以,你可以使用它们所有强大的功能。有关容器的完整文档,请阅读 Laravel 容器文档 。 获取服务容器 Laravel\Lumen\Ap

  • Container 服务容器是一个用于管理类的依赖和执行依赖注入的强大工具。其实质是通过反射来对构造函数或者标记为[Inject]特性的属性选择器进行注入。 简介 几乎所有的服务绑定都是在服务提供者中完成。如果一个服务没有基于任何接口那么就没有必要将其绑定到容器(除非他是组件内部使用的类)。 容器并不需要被告知如何构建对象,因为它会使用反射技术自动解析出具体的对象实例。 在服务提供者中我们可以使用

  • 介绍 Lumen 服务容器是管理类依赖的强力工具。依赖注入是比较专业的说法,真正意思是将类依赖通过构造器或 「setter」 方法注入。 基本用法 Note: 为了保证程序的整洁, 建议放置于 服务提供者 里面. 注册基本解析器 服务容器注册依赖有几种方式,包括闭包回调和绑定实例的接口。首先,我们来探讨闭包回调的方式。被注册至容器的闭包解析器包含一个 key (通常用类名称) 和一个有返回值的闭包

  • 服务容器是一个 standalone 的启动程序,因为后台服务不需要 Tomcat 或 JBoss 等 Web 容器的功能,如果硬要用 Web 容器去加载服务提供方,增加复杂性,也浪费资源。 服务容器只是一个简单的 Main 方法,并加载一个简单的 Spring 容器,用于暴露服务。 服务容器的加载内容可以扩展,内置了 spring, jetty, log4j 等加载,可通过容器扩展点进行扩展。配