【数据仓库】总结数据治理的那些事儿
·
计算治理
- 无效计算
- 产出表为空
- 产出表无访问
- 任务连续失败
- 异常计算
- 数据倾斜
- 暴力扫描
- 资源设置不合理
- 任务调度不合理
- 计算健康分
- 计算公式:治理项得分*权重
- 治理项:命中得0分,未命中得100分
- 权重:单个任务申请资源量/总的申请资源量
- 统计维度:任务、人员、团队、部门
- 计算公式:治理项得分*权重
存储治理
- 无效存储
- TTL设置过长
- 空表
- 无访问表
- 异常存储
- 文件大小、数量
- 存储格式
- 压缩策略
- 备份策略
- 存储健康分
- 计算公式:治理项得分*权重
- 治理项:命中得0分,未命中得100分
- 权重:单表存储占用量/总的存储占用量
- 统计维度:表、人员、团队、部门、资源组
- 计算公式:治理项得分*权重
质量治理
- 时效性
- SLA破线次数
- 任务平均产出时间
- 准确性
- 金额正负号
- 指标波动
- 完整性
- 空值率
- 枚举值
- 唯一性
- 主键唯一
- 特定枚举值
- 一致性
- 维度一致性
- 多端数据一致性
- 质量健康分
- 计算公式:治理项*权重
- 治理项:命中得0分,未命中得100分
- 权重:1/总的任务数、1/总的表数
- 统计维度:表、任务、人员、团队、部门
- 计算公式:治理项*权重
合规治理
- 敏感数据识别&管控
- 适用场景:敏感数据受限访问
- 隐私计算&加密算法
- 适用场景:敏感数据分析
- 区块链,访问记录存证
- 适用场景:敏感数据直接访问
更多推荐


所有评论(0)