当前位置: 首页 > 软件库 > 服务器软件 > 存储系统 >

LakeFS

类似 Git 的文件对象存储
授权协议 Apache-2.0
开发语言 Java Google Go Scala JavaScript
所属分类 服务器软件、 存储系统
软件类型 开源软件
地区 不详
投 递 者 籍辰沛
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

LakeFS 是一种开源工具,可将你的对象存储转换为类似 Git 的存储库;它使你能够以管理代码的方式管理数据湖。

使用 LakeFS,你可以构建可重复的、atomic 和版本化的数据湖操作 - 从复杂的 ETL 作业到数据科学和分析。

LakeFS 支持 AWS S3、Azure Blob Storage 和 Google Cloud Storage 作为其底层存储服务。它与 S3 的 API 兼容,并与所有现代数据框架(如 Spark、Hive、AWS Athena、Presto 等)无缝协作。

特性:

  • 百万亿规模的版本控制
  • 类似于 Git 的操作:branch、commit、merge、revert
  • Zero copy branching 用于 frictionless 实验
  • 数据和代码的完全可重复性

  • 用于 data CI/CD 的 Pre-commit/merge hooks

  • 即时恢复对数据的修改

 相关资料
  • 问题内容: 类文件对象是Python中的对象,其行为类似于真实文件,例如具有read()和write method(),但实现方式不同。这是鸭打字概念的实现。 优良作法是在需要文件的任何地方都允许使用类似文件的对象,以便可以使用StringIO或Socket对象代替实际文件。因此执行这样的检查很不好: 检查对象(例如方法的参数)是否为“类文件”的最佳方法是什么? 问题答案: 除非您有特殊要求,否则

  • 问题内容: 关闭。 此问题不符合堆栈溢出准则。它当前不接受答案。 想改善这个问题吗? 更新问题,使其成为Stack Overflow 的主题。 2年前关闭。 改善这个问题 我真的很喜欢R中的data.frames,因为您可以在一个数据结构中存储不同类型的数据,并且您有很多不同的方法来修改数据(添加列,合并data.frames等),这真的很容易从数据中提取 子集 ,… 是否有可用的具有相同功能的J

  • 使用table()方法查看结构化数据并比较数据对象。 table()方法提供了一种简单的方法来查看包含类似数据的对象和数组。当调用时,它将获取到的对象属性创建为标题。每一行数据来自每个索引下的属性值。 基本示例: 记录对象的数组 在它最基本的形式中,你需要的是一个具有相同属性的对象数组。 table() 命令将完整剩下的工作: console.table([{a:1, b:2, c:3}, {a:

  • 问题内容: 我想知道jQuery如何构造其类似数组的对象。我试图解决的关键问题是如何设法使控制台将其解释为数组并将其显示为数组。我知道它与length属性有关,但是在玩了一点之后我还是不太清楚。 我知道,与普通的数组(如下面的示例)相比,它没有技术优势。但是我认为这是用户进行测试和调试时的重要语义元素。 像对象一样的普通数组。 jQuery输出的位置 如果你跑 jQuery对象的原型特别有趣,因为

  • Git 是一个内容寻址文件系统。 看起来很酷, 但这是什么意思呢? 这意味着,Git 的核心部分是一个简单的键值对数据库(key-value data store)。 你可以向该数据库插入任意类型的内容,它会返回一个键值,通过该键值可以在任意时刻再次检索(retrieve)该内容。 可以通过底层命令 hash-object 来演示上述效果——该命令可将任意数据保存于 .git 目录,并返回相应的键

  • 是否有任何方法(内置或附加)加密存储库中的单个文件,可供有限的人访问。这些人签入时的文件将在签出时自动加密和解密。如果其他人试图访问,它们将保持加密。