对配置单元表执行验证和检查（不能重复）

Question

1. 计算记录数。
2. 每列上的空值数
3. 每列上唯一/不同值的数目
4. 基于列/数据类型的列级统计数据，如min、max等
5. 使用配置单元的内置函数to_date和其他函数检查日期列的验证

我确信，我们可以执行很少的检查或验证来验证配置单元表上的数据。欢迎提出任何建议。

Answer 1

不幸的是，您不能为配置单元中的每个列生成此查询。像这样手动执行，或者使用shell或其他工具生成基于description table输出：

select count(*)                                 as total_records,
       --repeat these for each column
       count(case when col1 is null then 1 end) as col1_nulls_cnt,
       count(distinct col1)                     as col1_distinct,
       min(col1)                                as col1_min,
       max(col1)                                as col1_max
from your_table;

日期可以使用强制转换(col1为日期）:

select cast(col1 as date) --returns NULL if the date is in wrong format

您可以像第一个查询一样计算由强制转换产生的空值：

count(case when cast(col1 as date) is null then 1 end) as col1_wrong_dates_cnt

select col1,
       case when d.dt is not null then 'Ok' else 'Wrong date' end date_check 
  from your_table t
  left join date_range d on t.col1=d.d.dt