Qualitis 是一个支持多种异构数据源的质量校验、通知、管理服务的数据质量管理平台,用于解决业务系统运行、数据中心建设及数据治理过程中的各种数据质量问题。
Qualitis 基于 Spring Boot,依赖于Linkis进行数据计算,提供数据质量模型构建,数据质量模型执行,数据质量任务管理,异常数据发现保存以及数据质量报表生成等功能。并提供了金融级数据质量模型资源隔离,资源管控,权限隔离等企业特性,具备高并发,高性能,高可用的大数据质量管理能力。
核心特点
数据质量模型定义
支持以下数据模型定义:
1.单表校验数据模型。
2.跨表校验数据模型。
3.自定义校验数据模型。
同时,系统预置了多个数据质量校验模版,包括空值校验,枚举校验等常用校验,并且支持自定义规则生成数据质量模版,单表数据质量模板以及跨表数据质量模板的定义。
数据质量模型调度
支持数据质量模型调度。
数据质量报表
支持生成数据质量报表
日志管理 日志聚合管理,方便排查数据质量任务
异常数据管理 支持异常数据提取和存储,快速定位问题
支持工作流 支持在工作流当中进行数据质量校验
工作流必装DataSphereStudio.
管理员控制台
提供管理员控制台界面,支持人员管理,权限管理,元数据管理,系统参数配置等管理功能。
架构
Qualitis是一个支持多种异构数据源的质量校验、通知、管理服务的数据质量管理平台,用于解决业务系统运行、数据中心建设及数据治理过程中的各种数据质量问题。 Qualitis基于Spring Boot,依赖于Linkis进行数据计算,提供数据质量模型构建,数据质量模型执行,数据质量任务管理,异常数据发现保存以及数据质量报表生成等功能。并提供了金融级数据质量模型资源隔离,资源管控,权限隔离等企业特性
gradle安装 安装包下载:https://services.gradle.org/distributions/gradle-7.5.1-bin.zip 解压:unzip 修改环境变量: vi /etc/profile.d/gradle.sh GRADLE_HOME=/root/gradle/gradle-7.5.1 # 解压的gradle路径 PATH=$GRADLE_HOME/bin:$PA
0.安装docker yum install docker -y systemctl enable docker systemctl start docker 1.创建部署目录 mkdir -p /usr/local/module/ cd /usr/local/module/ 2.配置环境 vi /etc/profile #在最后添加 ###########################
首先下载安装包Releases · WeBankFinTech/Qualitis · GitHub, 然后安装gradle,服务器没有的可以看我另外一个教程 /gradle-5.0/bin/gradle clean distZip --info 编译 BUILD FAILED in 13s [hdpu@pnode4 Qualitis-release-0.9.2]$ ../gradle-5.0/bi
笔试 howework 8.15 一面 8.26 70min 1.自我介绍 2.灯的测试 3.作业讲解(这部分花了很长时间,讲的我口干舌燥,讲完之后HR小姐姐会结合问一些测试方面的问题,也会补充) 4.测试技术方面(自己讲讲了解的测试的内容) 5.自己的项目 6.反问 体验挺好的,基本都是测试方面的东西 二面 9.2 30min 文化面,有英文环节,很基础的小问题,也可以准备英文自我介绍,感觉会加
补充三面: 三面: 1. 为什么选择测开 实习类发散: 2. 接口自动化为什么要做,解决什么问题 3. 测试平台完善了什么?谁驱动的? 4. 接口加密逻辑 5. Json 断言 6. 状态码 7. 测试和测开的区别 8.互联网加班怎么看 timeline: 2.26一面,3.7二面,3.8三面,3.11hr面,3.15oc+正式offer(感谢鹅在周五下午oc,让我有了个好周末)
1、接口声明 在调用接口时必须在https请求的header中携带"token"参数。 token是智齿客服接口开放平台全局唯一的接口调用凭据。 开发者在调用各业务接口时都需使用token,开发者需要进行妥善保存。token的存储至少要保留32个字符空间。token的有效期目前为24个小时,需定时刷新,或根据接口返回的token失效提示,进行重新获取。请求token接口,无论token是否存在,都
一面,HR面试主要问的是上一份工作的经历、离职原因、还有些就是你简历里面写的一些技能类的问题(比较简单就不详写了) 二面,质量负责人面(2V1),问题基本上都是跟岗位有关 1.说出你三个优点和缺点(尽量说跟岗位有关的) 2.你应聘这个岗位相比其他人你的优势是什么? 3.岗位主要负责的是全网数据处理、数据分析,数据处理相关软件熟练程度(岗位关键) 4.如果你成功应聘上这个岗位的话,入职后你将怎么开展
然而,整体质量门应该以某种方式(数学上?)遵循一定的比例。 问:鉴于上述放宽,如何计算最合适的技术债务门槛? 从一篇旧文章(2009年,因此很可能不再适用)中扣除了以下公式:
春招补录批,teg 一面: 项目类: 1. redis存储token的设计思路 2. redis存储点赞数量,设计的初衷 3. 这些数据可以存储在MySQL当中吗,会怎么样 4. 为什么要做这样一个API项目 5. 网关项目做了什么 抽离的公共项目的内容 实习类: 6. 需求评审提前规避掉的问题 7. 三轮测试的过程 测试报告的内容 8. 自动化框架为什么用pytest 9. 测开平台是干什么的,