随着大数据产业的迅猛发展,数据质量与治理等问题凸显,数据标准化需求迫切。对此,数据观邀请Granite Falls公司总裁 Danette McGilvray与国际数据管理协会中国分会创始主席胡本立教授就相关问题进行对话。
主持人:数据观记者 余超蓉
嘉宾:Granite Falls公司总裁 Danette McGilvray
???? 国际数据管理协会中国分会创始主席 胡本立
主持人:当前大数据应用很普遍,您能谈谈数据质量在应用中的重要性吗?
Danette:我认为大数据对任何组织都是非常重要的。大数据意味着更重要、更多的数据量,所以人们基本将4Vs(容量、变化、速度、变异性)作为大数据的基本条件。然而,人们开始思考关于大数据的第五个基本条件--真实性。事实上,我们也非常重视它的精准性及可靠性。尽管我们有很多的数据,甚至依赖于越来越多的大数据。但重要的是我们可以相信正在使用的数据,相信从中获得的结果。这也是数据质量为什么重要的原因。
主持人:您认为数据标准化会给企业带来哪些方面的影响?
Danette:数据标准化的好处有很多,一方面会具有互操作性,这意味着可以共享很多信息。另一方面,对大数据来说,有地理数据、环境数据,还有来自于人们的各种数据,如消费者或客户的数据。将这些数据集合到一起,可以学习新的东西。这些也是我们真正关注的。
我们获得各种不同的数据,能够从中得到更有价值的东西。将这些数据整合在一起会获得新的见解。这就是数据质量问题的运作和整合。在大数据方面,数据整合就是数据标准化所能帮助企业的地方。互操作性能帮我们更好地整合数据,因此,会有这个标准定义和交流方式。
主持人:您认为当前哪个国家在数据标准化及治理方面比较领先,特点是什么?Danette:我不确定自己有足够的数据背景去做这个判断,我知道美国在数据治理方面做了很多努力。根据IQ国际最近的调查显示,40%的公司在做数据治理工作,而且已经有2年的时间了,这是相当可观的。实际上 ,我认为这份调查中并没有广泛覆盖一些其他国家,但能从中看出整体是在前进的。我有在美国数据治理方面的工作经验,许多美国公司都是国际公司,它们呈现出的特点与其他国家有很多不同。所以,哪个国家领先是无法确定的。
主持人:当前国际上在数据标准化或者治理方面有遇到什么瓶颈吗?
Danette:有一些挑战,我把它叫做“似是而非的理念”(原用词:Myth)——Myth是指人们通常认为是正确的,而实际上却未经验证或是错误的东西。其中之一的错误就是做数据标准化和数据治理将会使我们的工作更慢。但如果做对了,它会使整体工作速度更快,因为将正确的人放到一起去做关于数据的决定,这可以避免一些项目问题。标准化有助于协同性,必须在一开始就投入标准化和治理,我们能够从这些项目过程中看到价值。因此,我认为大的瓶颈就是认为自己做不到,以及减缓了速度。实际上,如果一直关注项目时间和整体成本,而不仅仅只是开始,它会加快我们的步伐。
另一个挑战就是帮助人们理解数据治理和数据标准化为什么重要。一旦他们知道了这些重要性,对他们来说就会变得很容易了。人们也需要理解它们的发生并不是魔幻的,是因为一些人决定投入到数据标准化和治理工作中。人们必须关注这两个方面,要将它们应用起来。在数据方面,需要一个良好的管理系统去应对标准化和治理,它是数据管理的一个重要组成部分。因此,我们必须确定它们的重要性,将管理系统正确投放并让它们工作起来。
Danette:问问Ben(胡本立教授),您认为使数据治理速度减缓的其他挑战是什么?
胡本立:我认为这是一个范围,谁受益,谁付费!直接地或间接的,长期或者短期的。如果只看到当前或者当地的工作,并且被要求跟随新的规则和标准,那么,可能会觉着这减缓了你的速度。一些人认为这些标准是对别人而言的,而不是自己。但是,一旦想要共享数据,想要成为供应链的一部分等等,就会理解你需要标准,否则,将会需要在每个交易环节(从上游卖家到下游买家间)来回转换。如果有一个大的范围,就会明白为什么需要标准化,这只会立即或最终加快工作进度。人们也需要记住,标准化往往对整个系统优化有好处,而不只是针对一个贸易。当然,更重要的是在正确的时间做对标准化,以及不要过度去做。这也是治理的一个问题。
治理的过程需要向只关注自己的数据或者标准的业务单位解释,使他们意识到各级标准是必要的。对于整个企业、国家甚至世界,通过开发和接受标准化带来的利益,无论是获得效率、降低成本、提升数据质量等等,都需要良好的治理。
有时人们想要一些标准但并不存在,就需要合作建立一个。这并不是一件容易的工作,原因有很多,特别是对于那些超出了业务单位的级别。标准对于沟通、供应链、国际贸易、国际商务等等来说都是非常重要的,有一些已经被国际标准化组织开发和建立了。如果已经有一个跟你相关的,那就使用它,这将有助于你的业务走向国际。
Danette:我们今天有很多标准,被人们认为是理
所当然的。比如每个人都知道一公里有多长,但最初并不是每个人都知道公里标准的度量方式。因此,这些都需要发展时间。正如Ben所说的,人们能够看到这些利益,但是一些人必须确定它能给自己带来发展。现在我们知道如何更快发展的标准,不需要花费很长的时间。
胡本立:在中国早期的历史中,秦始皇规范了道路的大小以及车轴的大小,极大的提高了运输的效率。其他诸如货币、语言等的标准化也极大地帮助和加快经济发展和增长。以标准化的道路为例,如果你生活在一个小村子或小镇,这儿一开始没有道路的标准,路都是很多人走出来的。之后,为让当地的车通过,人们开始用当地的标准计划建造这些路。随着经济的发展,村庄需要与外界联系,需要改变当地道路和外界接连地方的大小,或者升级当地的标准,将各自的标准改变。
主持人:胡教授,刚刚说的国际上的数据标准化问题在中国是否依旧存在,当前有采取什么措施去规避吗?
胡本立:从Danette的谈话中可以看出数据标准化问题和挑战存在于每个国家,这其中的不同可能的就是差异程度。我认为发达经济体可能会获得更多的经验,所以他们更多的关注数据管理问题,并理解数据治理的重要性。这些数据问题在中国同样存在,我们已经创建了很多数据,正在快速的通过学习来追赶世界各地最佳的实践,以及相应的体系框架,比如DAMA的数据管理知识体系框架。
主持人:胡教授曾经在世界银行工作过,可能您对数据在金融方面的影响了解更深,可以谈谈这方面的数据标准化问题吗?
胡本立:世界银行并不是一个商业银行,尽管它的名字有“银行”两个字。这是一个发展机构,不时的在低利率时提高资金在金融市场以帮助发展中国家。这是金融的一部分,但它不是银行业务的重要组成部分。银行的服务或项目涵盖了广泛的领域和行业,如教育、卫生、基础设施、环境等。所有项目需要处理和管理许多不同的数据。世界银行不是一个数据标准化组织,我意识到,尽管各种数据标准非常有利于所有银行的工作和项目,但某种程度上,在内部我们曾试图规范各种结构化和非结构化数据。
在金融业方面,我看到有许多国际、区域和国家标准,如会计、付款、监管报告等。相当多的组织在欧洲做了许多标准化的工作,我们可以从他们的工作和获得的成就学到很多东西。
如何平衡创新和需求标准也是一个重要的话题。例如,网络金融在中国相当先进,但所需的一些标准没有及时赶上,无论是在正确的概念或相关的规定,都造成不必要的混乱和风险。这是可以理解的,创新往往是超越,可能并不总是符合现有标准,也需要花费时间去了解新标准需要或要求。我相信在创新不久之后总有一个标准需求,这可能是更新换旧的形式。
在金融领域,如何平衡创新和现有的监管标准?一些国家,像英国建立了一个“沙盒”机制,是创新者和监管机构都能学习的。就像在实验室里,如何减轻各自的风险,同时鼓励创新。所有的标准都是建立在共识、大量的效率沟通和相互理解的过程中的。
主持人:两位都是数据行业权威的专家,能否给想要进入大数据行业的这些人一些建议呢?
Danette:我认为学习数据基础能够使你更专业,比如学习数据分类、标准化、模型等基础性的东西。它们是认知的基础部分,需要去理解。你可能专门从事一个部分或者其他部分,但这有些基本技术是需要每个人去做的。比如一个医生有很多基本理论,他们知道药品,但是可能只做一个专业,专注于心脏或者做家庭医疗,但基本都能做药品。我给想做大数据的这些人的建议是:学习技术可以让我们去做大数据工作,但是学习数据就必须理解它们。技术总是在变,但是数据可以持续从技术到技术的变动,必须了解它们。
胡本立:有些人可能认为数据是大数据的一部分,我认为大数据仍然是数据的一部分,只是有一些特殊的特征,比如我们谈论的4Vs。不同特点可能需要不同的方法、工具来处理和管理。但是大数据或者小数据都属于数据,如何构建大数据标准是一个有趣并具有挑战性的话题。从人类和机器两个方面,我们需要不同的方法用于这些标准化数据。一些大的数据已经被标准化,数据标准更关注数据的形态而不是它的体积。由于大数据也往往有更多的类型以及更多的“颗粒”,我们可以想象标准化大数据有其独特的挑战。更多的数据常常给我们更多更新的视角,甚至是我们都熟悉的新定义,都将影响相关的已经建立的旧标准,相应地,我们可能需要更新。标准化是持续的,永恒的人类努力使更多的数据和新的理解变得可用。另外,比如已经用了上百年的会计标准,仍在不断的发展当中,仍需要添加新的数据元素,并且需要引进新的规则以顺应世界的变化。但我们应该只是使已经稳定的规则标准化以及如何平衡稳定性,并因为世界的变化而改变我们的观念。
试图达成理性和明智的平衡的共识,这是许多标准团体苦苦挣扎的问题。平衡也是治理工作的一部分。这意味着每一个数据管理功能都有内部治理的部分,包括数据标准化工作。事实上,数据标准、数据质量和数据治理是密切相关的,相互依赖。主持人:谢谢两位的回答,我们的对话到此结束。(数据观记者 余超蓉)
责任编辑:陈近梅
图像版权路透图片标题山坡上许多房子倒塌大雨后摄政 至少有600人失踪后泥石流和洪水摧
副总统便士周三表示,他在总统特朗普的批评下表示赞成,他的言论指责了在白俄罗斯的夏
布里吉特Macron采访中证实,它将在星期五杂志,它的作用将是非依据一项法律,而是章程,阐
在星期三举行的仪式上,希瑟海耶(Heather Heyer)是一名32岁的受害者的母亲苏珊布罗
康沃尔郡的海鲜餐馆已经加冕最好的在英国每年食物指南,肘击坎布里亚郡L Enclume后到了