fleet

分布式 init 系统
授权协议 Apache-2.0
开发语言 Google Go SHELL
所属分类 应用工具、 操作系统工具
软件类型 开源软件
地区 不详
投 递 者 羿易安
操作系统 跨平台
开源组织 CoreOS
适用人群 未知
 软件概览

fleet 绑定了 systemdetcd 到一个分布式 init 系统,可以认为是 systemd 的扩展,但是并不是机器级别的,而是集群级别的。

此项目现在是个预览版本,如要使用请看安全提示

特性

fleet 允许你定义灵活的架构来运行你的服务:

  • 可以在集群的任意地方部署单个容器

  • 支持部署多个同样容器的副本

  • 确保同一个机器上容器都是部署在一起的

  • 禁止指定 co-habitation 的服务

  • 服务的 Maintain N 容器不能重新部署

  • 匹配指定的元数据在机器上部署容器

示例

在集群中列出 Machines 列表

$ fleetctl list-machines
MACHINE                                 IP          METADATA
148a18ff-6e95-4cd8-92da-c9de9bb90d5a    19.4.0.112  region=us-west
491586a6-508f-4583-a71d-bfc4d146e996    19.4.0.113  region=us-east

Submit & Start Units

$ ls examples/
hello.service   ping.service    pong.service
$ fleetctl submit examples/*
$ fleetctl start hello.service

List Units

$ fleetctl list-units
UNIT            LOAD    ACTIVE  SUB     DESC    MACHINE
hello.service   loaded  active  running -       148a18ff-6e95-4cd8-92da-c9de9bb90d5a
ping.service    -       -       -       -       -
pong.service    -       -       -       -       -

 

  • 一直想用 Paddle 跑单机多卡,奈何平时胆子太小,一直不敢尝试,今天专门通过几个demo来玩玩♂ 环境是 aistudio 的四卡环境,四张 V100s,同时不使用 Fleet 1. distributed 启动 需要两个条件 一个是在启动时指定 python -m paddle.distributed.launch 另一个是使用dist.init_parallel_env() 来初始化分布式

  • elastics-search和kibana使用docker安装在容器里,fleet安装在宿主机上 建议先安装Portainer可视化docker管理工具 1.安装elastic-search docker run -e ES_JAVA_OPTS="-Xms1g -Xmx1g" --name es01 --net elastic -p 9200:9200 -p 9300:9300 -it dock

 相关资料
  • 主要内容:一、从一个新闻门户网站案例引入,二、推算一下你需要分析多少条数据?,三、黄金搭档:分布式存储+分布式计算这篇文章聊一个话题:什么是分布式计算系统? 一、从一个新闻门户网站案例引入 现在很多同学经常会看到一些名词,比如分布式服务框架,分布式系统,分布式存储系统,分布式消息系统。 但是有些经验尚浅的同学,可能都很容易被这些名词给搞晕。所以这篇文章就对“分布式计算系统”这个概念做一个科普类的分析。 如果你要理解啥是分布式计算,就必须先得理解啥是分布式存储,现在我们从一个小例子来引入。 比如说

  • 被别人指出问题时,别管别人能不能做到,看别人说的对不对,然后完善自己。别人能不能做到是别人的事情,自己能不能做到关系到自己能否发展的更好。——hustlihaifeng Go语言号称是互联网时代的C语言。现在的互联网系统已经不是以前的一个主机搞定一切的时代,互联网时代的后台服务由大量的分布式系统构成,任何单一后台服务器节点的故障并不会导致整个系统的停机。同时以阿里云、腾讯云为代表的云厂商崛起标志着

  • 数据存储容量的问题。 数据读写速度的问题。 数据可靠性的问题。 几种常见 RAID 的对比|名称|优点|缺点| |------|------|------| |RAID 0|使用 N 块磁盘的 RAID 0,将数据从内存写入磁盘时,将数据分成 N 块,并发写入,读取同理。所以,读写速度是单盘的 N 倍。|任何一块盘损坏,数据完整性破坏,数据不可用。| |RAID 1|数据写入磁盘时,将一份数据同时

  • 万法皆空,因果不空。 随着摩尔定律碰到瓶颈,越来越多的系统要依靠分布式集群架构来实现海量数据处理和可扩展计算能力。 区块链首先是一个分布式系统。 中央式结构改成分布式系统,碰到的第一个问题就是一致性的保障。 很显然,如果一个分布式集群无法保证处理结果一致的话,那任何建立于其上的业务系统都无法正常工作。 本章将介绍分布式系统中一些核心问题的来源以及相关的工作。

  • 一、介绍 HDFS (Hadoop Distributed File System)是 Hadoop 下的分布式文件系统,具有高容错、高吞吐量等特性,可以部署在低成本的硬件上。 二、HDFS 设计原理 2.1 HDFS 架构 HDFS 遵循主/从架构,由单个 NameNode(NN) 和多个 DataNode(DN) 组成: NameNode : 负责执行有关 文件系统命名空间 的操作,例如打开,

  • Fleet是一个管理大型Kubernetes集群的系统,它提供了一种内置机制,可以使用诸如Helm和Kustomize等行业标准工具为每个目标集群定制Bundles。一旦用户在集群之间部署了Bundles,Fleet就会主动监视资源是否已就绪,以及是否被更改过。