为什么要数据治理以及落地案例

问题导读

1.为什么要数据治理？
2.企业进行数据治理面临着哪三大问题？
3.汇集数据中间层的作用是什么？

1.为什么要做数据治理呢




越来越多的企业开始了解并推行大数据治理，最重要的推动力是企业面临数字化转型的巨大压力。然而，数字化转型的基础需要打通数据。如果数据不通，标准不一致，质量不高，就无法做分析。那应该如何连通企业内部数据呢？这就必须要做数据治理。

以阿里为例，作为一家互联网公司，旗下各业务数据相互连通。芝麻信用、菜鸟的智能物流、阿里妈妈的精准营销等等，它们都是通过大数据驱动之下，构成了业务与数据联通的闭环。像这种公司，整体的数字化水平非常高，信息的共享和流通能力很强。

企业做数据，更重要的是解决应用和应用间的信息共享问题，尤其是大的业务域和业务域之间的信息共享。只有把数据连接起来，它才能发挥更大的价值，消除数据孤岛。所以说，在数字化转型中，大数据治理是一个基础。企业通过大数据治理，才能为业务提供智能化的数据工作环境。

大数据治理面临的问题
虽然一些大型企业在信息化和自动化方面做得很好，但是在数据治理上仍然面临很多问题和困难。企业进行数据治理面临着三大问题：

1.最大的问题是组织架构。从组织架构上，企业必须得有一个数据管理部，这意味着从公司层面足够重视。有效的组织架构是项目成功的有力保证，为了达到项目预期目标，在项目开始之前对于组织及其责任分工做出规划是非常必要的。

2.其次是工具链条的缺失。企业做数据治理，效果往往不好，原因是什么呢？很多时候企业依赖人工，比如数据准备、数据标准等。

3.最后一个问题是数据含义不清楚。虽然企业该有的数据都有，但是数据的业务含义是什么并不清楚，并且数据之间的标准也没有。因此，企业很难把数据利用好。

2.数据治理如何落地

据治理的最终目的是服务于生产业务，究竟如何把这些标准性、概念性的东西，落地到实践、实操，真正实现数据的“可管、可视、可用、可控、可估”，还需要借助数据平台建设一步步推动企业数据治理落地，直至完善的数据资产管理平台形成。

从解决生产业务的支撑问题出发，以可用可操作为宗旨，我们根据企业的实际业务需求，做了许多落地实践的尝试，这里分享2个实践案例，给大家一点思路：

案例1:

基于数据中台的理念和方法，做汇集数据中间层，重构数据模型，替代复杂、冗余数据源表

某集团企业需要支撑20多个子公司的日常的数据运营工作， 原力大数据基于数据中台的理念和方法，在集团公司既有的支撑体系内，做了一层数据加工：汇集数据中间层。

将复杂的数据源表简单化，重新构建表关系和指标，接入数据集市的上千张表，上万个数据指标，满足全省各地市的数据支撑需求。



汇集数据中间层的作用：

1.组合相关和相似数据，采用明细宽表，复用关联计算，减少数据扫描；
2.统一加工公共指标，构建数据治理的标准，构建命名规范、口径一致和算法一致的统计指标，为上层应用提供公共指标；
3.建立一致性维度：建立一致的数据分析维表，降低数据计算口径、算法不统一的风险；
4.通过规范化的数据标准与口径，降低了数据理解不一致、计算口径不一致的风险，极大的提升了支撑效率和效益。

这个项目里，我们帮助企业：

1. 将上万个字段，简化成可满足日常使用的1000多个字段，并可以动态管理的字段上架与下架；

2. 将上千张数据表，整理成54张独立的数据表，减少数据存储冗余；

3. 规范数据标准与口径，重新定义了表结构和指标，统一了计算口径，有效降低了理解不一致、调用混乱的风险；

4. 各子公司运营人员能够快速、准确、简单的提取所需数据，学习成本、人力成本、时间成本直接减半。

案例2:

建设自主数据分析平台，将数据原子化，支撑业务人员自助选择搭配与计算

原力大数据在与某世界500强集团合作的数据治理项目中，建设了自助分析平台，将数据原子化，构建原子指标库和展示数据指标库。

平台汇集多个来源的数据，基于Kimball维度建模的核心理念，先形成相对标准化的面向业务过程的明细中间表，然后以用户标签表为核心的汇总宽表，再在应用数据层生成个性化指标或数据组装，形成对标签筛选取数、用户画像、个性化分析等应用支撑。



这种数据模型（数据的存储方式）简洁清晰，标准化程度高，易扩展，能大幅节省存储、计算、开发成本；

再搭配‘拖拉拽式’的自助取数功能和可灵活自定义的可视化统计报表，能够满足50-60%的日常运营提数和报表需求。



自助取数：拖拉拽自由选取所需数据，并配置计算条件，满足数据宽表的明细级数据输出；



自助可视化统计报表：实现标签结果明细数据的报表自定义配置，并可支撑灵活的多维、图形化分析；

自主分析平台这种数据治理的落地方式，操作模式简单、数据标准与口径标准化程度高、可高度自由配置的指标数据、快速的支撑响应速度，极大的释放了数据支撑人员的压力。


参考：
https://www.sohu.com/a/351803542_610372

https://www.zhihu.com/question/269987457/answer/605133851