当前位置: 首页 > 软件库 > 大数据 > 数据存储 >

Fluid-Cloudnative

云原生大数据应用支撑平台
授权协议 Apache 2.0
开发语言 Google Go
所属分类 大数据、 数据存储
软件类型 开源软件
地区 国产
投 递 者 司寇安宜
操作系统 跨平台
开源组织 阿里巴巴
适用人群 未知
 软件概览

为了解决大数据、AI 等数据密集型应用在云原生计算存储分离场景下,存在的数据访问延时高、联合分析难、多维管理杂等痛点问题,南京大学 PASALab、阿里巴巴、Alluxio 在 2020 年 9 月份联合发起了开源项目 Fluid 。

Fluid 是一款开源的云原生基础架构项目。在计算和存储分离的大背景驱动下,Fluid 的目标是为 AI 与大数据云原生应用提供一层高效便捷的数据抽象,将数据从存储抽象出来,以便达到:

  • 通过数据亲和性调度分布式缓存引擎加速,实现数据和计算之间的融合,从而加速计算对数据的访问;

  • 将数据独立于存储进行管理,并且通过Kubernetes的命名空间进行资源隔离,实现数据的安全隔离;

  • 将来自不同存储的数据联合起来进行运算,从而有机会打破不同存储的差异性带来的数据孤岛效应。

通过 Kubernetes 服务提供的数据层抽象,可以让数据像流体一样在诸如 HDFS、OSS、Ceph 等存储源和 Kubernetes 上层云原生应用计算之间灵活高效地移动、复制、驱逐、转换和管理。而具体数据操作对用户透明,用户不必再担心访问远端数据的效率、管理数据源的便捷性,以及如何帮助 Kuberntes 做出运维调度决策等问题。用户只需以最自然的 Kubernetes 原生数据卷方式直接访问抽象出来的数据,剩余任务和底层细节全部交给 Fluid 处理。

Fluid 项目当前主要关注数据集编排和应用编排这两个重要场景。数据集编排可以将指定数据集的数据缓存到指定特性的 Kubernetes 节点;而应用编排将指定该应用调度到可以或已经存储了指定数据集的节点上。这两者还可以组合形成协同编排场景,即协同考虑数据集和应用需求进行节点资源调度。

 相关资料
  • 2.9上午面试,时间不到9min 1、自我介绍(1min) 2、英文回答平时怎么学习(措手不及-答得很烂) 3、情景题 4、投递贵公司最看重的三个因素 5、希望税前月薪 6、接受其他岗位调剂吗 7、北京户口有需求吗 疑问:这次面试是秋招补录还是春招?有同一天面试的同学了解情况的能说说吗,如果有后续消息麻烦告知下lz 更新: 2.14 下午收到签约会通知 #春招# #联通面试# #国企#

  • 云原生是一种应用开发风格,鼓励在持续交付和价值驱动开发领域轻松采用最佳实践。相关的学科是建立12-factor Apps,其中开发实践与交付和运营目标相一致,例如通过使用声明式编程和管理和监控。Spring Cloud以多种具体方式促进这些开发风格,起点是一组功能,分布式系统中的所有组件都需要或需要时轻松访问。 许多这些功能都由Spring Boot覆盖,我们在Spring Cloud中建立。更多

  • 我正在寻找使用ReactNative或原生平台(iOS和Android)创建一个BLE移动应用程序的利弊。 我应该遵循哪种方法?有人能和ReactNative分享他们的经验吗?我在这两个原生平台上都工作过,它给了我很好的效果,但是对于我的新项目,我考虑的是ReactNative,因为它有单一的代码库,相对来说比在iOS和Android上单独工作花费的精力要少。 BLE应用程序也有这些优势吗?或者它

  • 2017年9月,Mesos宣布支持Kubernetes,而在2017年10月份的DockerCon EU上,Docker公司宣布官方同时支持Swarm和Kubernetes容器编排,Kubernetes已然成为容器编排调度的标准。 作为全书的开头,首先从历史、生态和应用角度介绍一下Kubernetes与云原生应用,深入浅出,高屋建瓴,没有深入到具体细节,主要是为了给初次接触Kubernetes的小

  • 首先我们来阐述下将应用迁移到云原生架构的动机。 速度 天下武功,唯快不破,市场竞争亦是如此。想象一下,能够快速创新、实验并交付软件的企业,与使用传统软件交付模式的企业,谁将在市场竞争中胜出呢? 在传统企业中,为应用提供环境和部署新版本花费的时间通常以天、周或月来计算。这种速度严重限制了每个发行版可以承担的风险,因为修复这些错误往往跟发行一个新版本有差不多的耗时。 互联网公司经常提到它们每天几百次发

  • 我也看到了同样的问题,但是对我没用。 我对NumPy也有同样的问题: 然后我得到: numpy-1 . 11 . 1 mkl-cp34-cp34m-win _ amd64 . whl不是此平台支持的车轮。将故障调试日志存储在C://Users/my username/pip/pip . log中 我使用64位和Python 3.4.0。有什么问题吗?