- · 《治理研究》刊物宗旨[08/03]
- · 《治理研究》征稿要求[08/03]
- · 《治理研究》投稿方式[08/03]
- · 《治理研究》数据库收录[08/03]
- · 《治理研究》栏目设置[08/03]
数据治理第1期(2)
作者:网站采编关键词:
摘要:场景2:小红是B咨询公司的新来的数据分析师,最近她接到一个任务,需要为客户的一个市场咨询报告提供数据分析支持。 因此小红从业务经理那里了解完
场景2:小红是B咨询公司的新来的数据分析师,最近她接到一个任务,需要为客户的一个市场咨询报告提供数据分析支持。
因此小红从业务经理那里了解完需求后,开始从公司数据库和第三方数据库获取数据,但事情却一波三折,就单单在业务数据分析的定义上就来回沟通了好几次,业务经理告诉小红她想知道a指标的数据,小红翻阅了前人关于a指标的统计口径记录发现,a指标居然有不下10个统计口径,诸如a1字段在x1维度下的聚合、a2字段在x2维度下的聚合等等,到底应该遵循哪个规范?
结果咨询一堆同学,发现每一个口径都有特定的需求背景和定制化规则,这一通忙活。
场景3:小东是C公司的数据RD,最近他经常半夜被各种数据跑批任务延迟和失败告警给吵醒。
原来是公司最近要迎接618,活动量的爆炸式增长导致业务数据量的爆炸式增长,而业务报表的数据统计逻辑和背后的数据源却没有及时优化,导致集群计算资源不足以支撑暴涨的需求而出现任务延迟或者失败的情况,这个情况又影响了业务报表的数据及时展示,影响了公司各业务KP邮件报表的及时性。
场景4:小阳是D公司的安全运营,最近公司上线了一个新业务,和已经上线的几家公司形成了假正经关系,然后他最近经常收到市场情报反馈,竞品公司能迅速感知到公司的投放数据和增长数据,到底是哪个环节出了问题,为什么竞品公司能这么快知道公司核心数据机密,这让他最近压力倍增?
分析以上问题,场景1其实是数据指标准确性的问题,场景2的问题主要是数据指标规范性和唯一性的问题,场景3主要是数据产出及时性的问题,而场景4是数据安全性的问题,以上,笔者认为都属于数据治理需要解决的问题。
五、治理目标
综上,数据治理的目标主要是解决以下四方面的问题:
- 规范治理:解决数据完整性、规范性和唯一性问题
- SLA治理:解决数据产出及时性问题
- 口径治理:解决数据指标准确性和口径一致性问题
- 安全治理:解决数据采集生产应用各环节中账号注册认证、权限管理、安全审计和隐私保护等安全治理问题
六、策略概述
1. 成立数据治理委员会,提供立法和组织保障- 成立治理制度执委会,负责研究和出台相关治理制度和规范标准,目标是促成公司内各个业务团队达成共识,形成统一规范,避免信息孤岛。
- 成立治理产品执委会,负责梳理数据各环节的需求处理流程和业务流转流程,负责各环节的治理工具建设,形成可执行方案,然后报制度执委会推行。
- 成立治理技术执委会,负责数据各环节的技术定义、模型设计和口径维护,对数据资产的落库规范性和唯一性等负责。
- 成立第三方治理审计监察组,负责治理效果的评估、badcase的运营跟进和事后追溯审计。
- 建设资产治理中心,目标是为解决数据元信息的完整性、规范性、唯一性提供技术支持。
- 建设SAL治理中心,目标是为解决数据生产加工任务产出的及时性和任务调度的运维提供技术支持。
- 建设指标治理中心,目标是统一指标定义、指标生产和服务,解决指标口径一致性和服务的效率问题。
- 建设安全治理之心,目标是为数据安全5A领域)(账号、认证、授权、审计、隐私保护)的问题提供技术支持。
七、策略详述
1. 流程保障策略
图1:数据治理流程保障规划示意图
思路:如上图所示,数据治理流程保障规划整体思路参考PDCA循环,即制定详细规范方案,然后去验证并解决问题,接着检查问题是否真实被根本解决,最后根据反馈再继续爹迭代方案,进入下一个循环。
机制:如上图所示,数据治理流程保障规划整体解决机制上分为三个部分,分别是事前预防,事中监控和事后处理。
- 第一部分的目标是尽量将潜在问题在未爆发前就消灭掉;
- 第二部分的目标是尽量将问题都找出来,减少影响范围;
- 第三部分的目标是对暴露出的问题进行快速响应和解决,并总结经验。
整体流程:如上图所示,数据治理流程保障规划整体流程上将以解决数据质量六性问题(唯一性、规范性、完整性、准确性、及时性、安全性)为目标,按照“规范建设-质检审查-发现问题-评估问题-解决问题-验收问题”的闭环流程,贯穿整个事前、事中和事后的环节。
文章来源:《治理研究》 网址: http://www.zlyjzz.cn/zonghexinwen/2021/0720/2144.html
上一篇:如何协同治理校外在线教育
下一篇:数字化转型背景下的数字风险治理