当前位置: 首页 > 软件库 > 大数据 > 数据处理 >

Qualitis

数据质量管理平台
授权协议 Apache
开发语言 Java
所属分类 大数据、 数据处理
软件类型 开源软件
地区 国产
投 递 者 劳昊明
操作系统 跨平台
开源组织 微众银行
适用人群 未知
 软件概览

Qualitis 是一个支持多种异构数据源的质量校验、通知、管理服务的数据质量管理平台,用于解决业务系统运行、数据中心建设及数据治理过程中的各种数据质量问题。

Qualitis 基于 Spring Boot,依赖于Linkis进行数据计算,提供数据质量模型构建,数据质量模型执行,数据质量任务管理,异常数据发现保存以及数据质量报表生成等功能。并提供了金融级数据质量模型资源隔离,资源管控,权限隔离等企业特性,具备高并发,高性能,高可用的大数据质量管理能力。

核心特点

  • 数据质量模型定义
    支持以下数据模型定义:
    1.单表校验数据模型。
    2.跨表校验数据模型。
    3.自定义校验数据模型。

同时,系统预置了多个数据质量校验模版,包括空值校验,枚举校验等常用校验,并且支持自定义规则生成数据质量模版,单表数据质量模板以及跨表数据质量模板的定义。

  • 数据质量模型调度
    支持数据质量模型调度。

  • 数据质量报表
    支持生成数据质量报表

  • 日志管理 日志聚合管理,方便排查数据质量任务

  • 异常数据管理 支持异常数据提取和存储,快速定位问题

  • 支持工作流 支持在工作流当中进行数据质量校验
    工作流必装DataSphereStudio.

  • 管理员控制台
    提供管理员控制台界面,支持人员管理,权限管理,元数据管理,系统参数配置等管理功能。

架构

 

  • Qualitis是一个支持多种异构数据源的质量校验、通知、管理服务的数据质量管理平台,用于解决业务系统运行、数据中心建设及数据治理过程中的各种数据质量问题。 Qualitis基于Spring Boot,依赖于Linkis进行数据计算,提供数据质量模型构建,数据质量模型执行,数据质量任务管理,异常数据发现保存以及数据质量报表生成等功能。并提供了金融级数据质量模型资源隔离,资源管控,权限隔离等企业特性

  • gradle安装 安装包下载:https://services.gradle.org/distributions/gradle-7.5.1-bin.zip 解压:unzip 修改环境变量: vi /etc/profile.d/gradle.sh GRADLE_HOME=/root/gradle/gradle-7.5.1 # 解压的gradle路径 PATH=$GRADLE_HOME/bin:$PA

  • 0.安装docker yum install docker -y systemctl enable docker systemctl start docker 1.创建部署目录 mkdir -p /usr/local/module/ cd /usr/local/module/ 2.配置环境 vi /etc/profile #在最后添加 ###########################

  • 首先下载安装包Releases · WeBankFinTech/Qualitis · GitHub, 然后安装gradle,服务器没有的可以看我另外一个教程 /gradle-5.0/bin/gradle clean distZip --info 编译 BUILD FAILED in 13s [hdpu@pnode4 Qualitis-release-0.9.2]$ ../gradle-5.0/bi

 相关资料
  • 笔试 howework 8.15 一面 8.26 70min 1.自我介绍 2.灯的测试 3.作业讲解(这部分花了很长时间,讲的我口干舌燥,讲完之后HR小姐姐会结合问一些测试方面的问题,也会补充) 4.测试技术方面(自己讲讲了解的测试的内容) 5.自己的项目 6.反问 体验挺好的,基本都是测试方面的东西 二面 9.2 30min 文化面,有英文环节,很基础的小问题,也可以准备英文自我介绍,感觉会加

  • 补充三面: 三面: 1. 为什么选择测开 实习类发散: 2. 接口自动化为什么要做,解决什么问题 3. 测试平台完善了什么?谁驱动的? 4. 接口加密逻辑 5. Json 断言 6. 状态码 7. 测试和测开的区别 8.互联网加班怎么看 timeline: 2.26一面,3.7二面,3.8三面,3.11hr面,3.15oc+正式offer(感谢鹅在周五下午oc,让我有了个好周末)

  • 1、接口声明 在调用接口时必须在https请求的header中携带"token"参数。 token是智齿客服接口开放平台全局唯一的接口调用凭据。 开发者在调用各业务接口时都需使用token,开发者需要进行妥善保存。token的存储至少要保留32个字符空间。token的有效期目前为24个小时,需定时刷新,或根据接口返回的token失效提示,进行重新获取。请求token接口,无论token是否存在,都

  • 一面,HR面试主要问的是上一份工作的经历、离职原因、还有些就是你简历里面写的一些技能类的问题(比较简单就不详写了) 二面,质量负责人面(2V1),问题基本上都是跟岗位有关 1.说出你三个优点和缺点(尽量说跟岗位有关的) 2.你应聘这个岗位相比其他人你的优势是什么? 3.岗位主要负责的是全网数据处理、数据分析,数据处理相关软件熟练程度(岗位关键) 4.如果你成功应聘上这个岗位的话,入职后你将怎么开展

  • 然而,整体质量门应该以某种方式(数学上?)遵循一定的比例。 问:鉴于上述放宽,如何计算最合适的技术债务门槛? 从一篇旧文章(2009年,因此很可能不再适用)中扣除了以下公式:

  • 24届菜鸡投的实习岗,结果被捞去kpi了😭 虽然除去我写算法的时间也就面了20分钟,但是浅记一下面试问到的 1、自我介绍 2、项目(没细问,主要问了在项目做了什么测试) 3、从项目拓展了一下测试用例的设计方法以及在项目里面使用了哪些用例设计方法,怎么使用的 (计网) 4、http和https的区别 5、tcp和udp的区别 6、tcp是通过什么进行可靠传输的 7、ip头包括哪些内容 (数据库)