当前位置: 首页 > 软件库 > 大数据 > 数据处理 >

Amundsen

数据发现和元数据引擎
授权协议 Apache 2.0
开发语言 Python
所属分类 大数据、 数据处理
软件类型 开源软件
地区 不详
投 递 者 云令
操作系统 跨平台
开源组织 Linux 基金会
适用人群 未知
 软件概览

Amundsen 是一个数据发现和元数据引擎,用于提高数据分析师、数据科学家和工程师在与数据交互时的工作效率。

它通过索引数据资源(表、仪表板、流等)和基于使用模式(例如,查询次数多的表比次数少的表出现得更早)支持页面排名样式搜索来实现这一点。包括三个微服务、一个数据提取库和一个公共库。

  • amundsenfrontendlibrary:前端服务,它是一个带有 React 前端的 Flask 应用程序。
  • amundsensearchlibrary:利用 Elasticsearch 进行搜索功能的搜索服务用于支持前端元数据搜索。
  • amundsenmetadatalibrary:元数据服务,利用 Neo4j 或 Apache Atlas 作为持久层,提供各种元数据。
  • amundsendatabuilder : 用于构建元数据图和搜索索引的数据摄取库。用户可以使用带有库的 python 脚本或导入库的Airflow DAG加载数据。
  • amundsencommon:Amundsen Common 库包含 Amundsen 微服务之间的通用代码。
  • amundsengremlin:Amundsen Gremlin 库包含用于将模型对象转换为 gremlin 中的顶点和边的代码。它用于将数据加载到 AWS Neptune 后端。
  • amundsenrds:Amundsenrds 包含 ORM 模型以支持关系数据库作为 Amundsen 中的元数据后端存储。ORM 模型中的模式遵循数据构建器模型的逻辑。Amundsenrds 将用于数据构建器和元数据库,用于关系数据库的元数据存储和检索。 

主页

文档

要求

  • Python = 3.6 或 3.7
  • Node = v10 或 v12(v14 可能存在兼容性问题)
  • npm >= 6

入门

请访问 Amundsen 安装文档以 快速开始 使用虚拟数据引导默认版本的 Amundsen。

Amundsen 是 LF AI & Data Foundation 的孵化阶段项目。

 相关资料
  • 定义 SHOW DB_DISCOVERY RULES [FROM schemaName] 说明 列 说明 name 规则名称 dataSourceNames 数据源名称列表 discoverType 数据库发现服务类型 discoverProps 数据库发现服务参数 示例 mysql> show db_discovery rules from database_dis

  • 定义 CREATE DB_DISCOVERY RULE databaseDiscoveryRuleDefinition [, databaseDiscoveryRuleDefinition] ... ALTER DB_DISCOVERY RULE databaseDiscoveryRuleDefinition [, databaseDiscoveryRuleDefinition] ... DR

  • 表元数据 下面这些方法用于获取表信息: 列出数据库的所有表 $this->db->list_tables(); 该方法返回一个包含你当前连接的数据库的所有表名称的数组。例如: $tables = $this->db->list_tables(); foreach ($tables as $table) { echo $table; } 检测表是否存在 $this->db->table_

  • 使用元数据 (metadata) 来给你的代码提供额外的信息。一个元数据注解以字符 @ 开头,后面跟着的要么是编译期常量(比如 deprecated),要么是常量构造函数的调用。 有两个注解可应用于所有的 Dart 代码:@deprecated 和 @override。使用 @override 的例子,请参阅 继承类。下面是一个使用 @deprecated 注解的例子: class Televis

  • 本部分验证元数据缓存功能。 测试数据库初始化 本部分使用 mariadb。创建数据库,用户 $ mysql -u root -p CREATE DATABASE accounts; USE accounts; CREATE USER jdv_user@'%' IDENTIFIED BY 'jdv_pass'; GRANT ALL PRIVILEGES ON accounts.* to jdv_

  • SQLAlchemy 1.4 / 2.0 Tutorial 此页是 SQLAlchemy 1.4/2.0教程 . 上一页: 处理事务和DBAPI |下一步: |next| 使用数据库元数据 随着引擎和SQL执行的停止,我们准备开始一些炼金术。SQLAlchemy Core和ORM的核心元素是SQL表达式语言,它允许流畅、可组合地构造SQL查询。这些查询的基础是表示数据库概念(如表和列)的Pytho

  • 我是gitlab-ci的新手,遇到了Maven的麻烦。我正在使用库spring-cloud-contract来测试我的API。在代码中我有这样的内容: 我使用'+'获取存根的最新版本。当测试执行时,库正在寻找maven元数据以获得最后的版本。 在我的.gitlab-ci.yml中,我使用配置了maven 最后,我在测试执行过程中出现了以下错误: 上下文初始化期间遇到异常-取消刷新尝试:org.sp

  • 关于元数据 元数据是一组有关文件的标准化信息,如作者姓名、分辨率、色彩空间、版权以及为其应用的关键字。例如,大多数数码相机将一些基本信息附加到图像文件中,如高度、宽度、文件格式以及图像的拍摄时间。您可以使用元数据来优化工作流程以及组织文件。 关于 XMP 标准 元数据信息是使用可扩展元数据平台 (XMP) 标准进行存储的,Adobe Bridge、Adobe Illustrator、Adobe I