透过数据标准,看【数据治理】实施

博文小编

2022-08-15

当我们谈数据治理时,我们在谈什么?

数据质量、数据标准、数据安全,从横向来讲,讲组织、讲技术、讲流程,这构成了整个数据治理的一些内涵。今天我们聚焦在数据标准管理里面,通过讨论数据标准的管理,来看我们怎么进行数据治理。

01 企业如何通过寻找事实来建立数据标准

不管用什么方法,数据标准是必须要去建立的。我们首先了解一下企业数据标准建立的几种模式。

第一种方式,通过数据字典去核查。

第二种则是溯源

做数据标准不是从零开始的。我们必须知道原来存在什么,这会产生大量的溯源工作。我们现在做数据治理及数据标准的时候,这将成为一个没办法逾越的过程。当然也跟我们的整个IT系统,包括我们的系统建设的一些文档的完整性,和我们设计的这些完整性有关,但往往是因为这些因素,甚至是历史的原因,我们没有办法再去了解整个脉络了。

第三种就是理论派

即通过我们的一些定义来重新建立标准,这个标准的科学性怎么样,它能不能够覆盖过往的历史,未必想的那么周全,接着下来就是业务IT要落实验证了,然后发现冲突要进行处理,各方确认最后去执行。
不管用什么方法,数据管理部门都需要考虑三个问题——时间、成本、质量

有些是时间上让你无法承受,因为这历史数据太多了,我们不能花太多的时间去完成。第二个是成本,尤其是金融,我们用的还是早期的大机系统,我们现在连去读这种代码的人都没有了,这个不仅仅是成本的问题,甚至连技能都已经成问题,必须请更高阶的人或者说更稀有的人才去完成这个任务。还有一个就是质量,这种做出来的质量对我们有多大的保障。这几个维度可能会让我们在做的时候,要不就打退堂鼓,要不我们可能再减轻其他的要求,我相信是大家可能会面临的问题。

例子:如何知道不同表中的字段是“一回事”(符合业务及技术标准规范)

你怎么定义这个标准?你的数据映射标准是怎么样去建立的?定义这个标准的原则又是什么?我们怎么确保不同表中的字段是一回事儿?如果同时符合业务跟技术标准规范,我们能够认为他讲的是同一件事。这里通过一个例子说明几种常见方法及其难点。

一种是数据字典核查,这种情况我相信大家都知道,并不是你所有的数据都能有数据字典核查的,这个是会面临的问题。

第二种是代码溯源,刚才我提到的没有数据支点怎么办?打开源代码,找懂代码的人一个个去看,看了当然你还要验证了,不是看了就可以,还要验证。

第三个是人传人,就是说我们只能在跟业务人员去沟通了,究竟你这个是什么事情?有可能业务人员讲给你,还得再讲给程序员,然后信息一级级地衰减,这是人传人的方法。

第四个是历史问题,那就更加没办法做了,成为历史的问题是什么?没有人知道。

还有一个是你对一些你不熟悉的领域,你怎么技术判断,我们都知道IT,我们没有办法像业务人员那样子对所有的业务都熟悉的,你对不熟悉的领域怎么办?怎么去做?

还有信息传递的衰减问题,这个就是在整个过程中会面临的问题。

那么如何有效解决以上几种方法的瓶颈?

02 企业如何通过数据探查驱动数据治理

在企业数据治理里面有三大要素。

第一个就是起点,基准线数据治理它一定是要有起点的,这一点是对一个企业数据治理的标的,要治理的对象,要有一个清醒的认知,这是第一点。

第二点事实标准,在过往里面我跟很多企业交流过,我们也尝试过用刚才我们很多方法来做这个标准,但是这里面会面临刚才讲到的不可承受的这种压力,包括时间成本、资金成本、质量的问题。假如说我们能找到这个标准的话,它对解决我们刚才考虑的三个元素问题是非常关键的。

第三个就是快捷,我们讲数据治理就是说除了这两点,快捷也是很重要,因为我们的数据是增量的,是不断地在迭代在成长的,刚刚做完的标准已经没办法满足后续的数据成长的要求,所以我们经常会疲于奔命来不断修正我们的这种标准。

数据治理非常重要的一个目标,就是提升数据质量

在过往华矩也做了一些这种实施的方法,即怎么样通过数据来分析现状,然后给出建议。

当然我们在讲数据质量审查的时候有这么几个角度,一个包括我们数据的属性怎么看,我们的语义定义是怎么看,我们的规则怎么看,这些都是我们进行数据质量审查的时候去了解我们的现状,去了解我们的基准线,了解我们的数据治理的起点在哪里,会发现标准的异常,会发现事实标准,我们会对语义定义、业务规则进行认定,通过这种探讨,我们去发现一些跨系统历史数据的现状。

我们在看数据所谓的六性的时候,往往可以看出我们的业务管理跟我们的数据治理管理是怎么关联起来的,横向跟纵向是互为因果的关系。比如说你在做数据探查的时候,你在做数据质量检查的时候,你发现一致性有问题,而所有权跟责任这个板块里面是缺失的,说明这个板块的管理的内容的缺失会导致一致性的问题出现,也会导致准确度的出现。为什么?因为所有权不一样,这个没做好就有多头管理,多头管理它就有不同的定义,不同的定义就会影响它的准确度,一致性的问题。

反过来也是一样的,比如说像数据定义和标准化不一致的问题,会导致它的完整性的问题,为什么?因为它会产生不同标准,在一个系统里面他认为他是完备的,但在另外一个系统里面他是不完备的,所以探查完整性很快就会发现这个问题。当然还有准确性的问题,这些我相信是我们在做数据探查,在做数据诊断的时候,看到的不仅仅是数据本身的问题,它其实反映了整个数据治理的问题,这个就是为什么说数据探查能够推动我们数据治理的原因。

本文节选自华矩科技创始人及董事长CEO谭海华在华矩科技数据治理系列讲座上的一次直播分享。

通过分享数据治理里面的一些关键环节,来探索如何进行数据治理。

原完整内容包含了以下几个部分

1,数据治理的问题以及误区

2,通过一个数据治理结构更深入地剖析一下我们在整个数据治理里面的一些瓶颈和问题究竟在哪里

3,数据治理关键环节——数据标准

4,谈谈如何通过数据探查来驱动数据治理

仅需19.9元,即可解锁完整专家分享

扫码试看

数据治理 是当下企业谋求竞争优势和向高端发展进程中难得的一个机遇。作为企业数字化转型的核心基础与痛点短板,不得不做,但又很难以做好……

为了助推数字化发展与数据价值落地,帮助解决企业数字化转型中的常见问题,博文视点学院联合华矩科技推出《数据治理大讲堂》系列课程,聚焦企业数据治理的方方面面帮助各企业用户避开数据治理误区。

▼ 为企业数字化转型提供从战略到应用全流程指导,扫码了解更多“数据治理”知识分享>>>


发布:刘恩惠
审核:陈歆懿

读者评论

相关博文

  • 社区使用反馈专区

    陈晓猛 2016-10-04

    尊敬的博文视点用户您好: 欢迎您访问本站,您在本站点访问过程中遇到任何问题,均可以在本页留言,我们会根据您的意见和建议,对网站进行不断的优化和改进,给您带来更好的访问体验! 同时,您被采纳的意见和建议,管理员也会赠送您相应的积分...

    陈晓猛 2016-10-04
    5437 739 3 7
  • 迎战“双12”!《Unity3D实战核心技术详解》独家预售开启!

    陈晓猛 2016-12-05

    时隔一周,让大家时刻挂念的《Unity3D实战核心技术详解》终于开放预售啦! 这本书不仅满足了很多年轻人的学习欲望,并且与实际开发相结合,能够解决工作中真实遇到的问题。预售期间优惠多多,实在不容错过! Unity 3D实战核心技术详解 ...

    陈晓猛 2016-12-05
    3301 36 0 1
  • czk 2017-07-29
    5871 28 0 1