剖析国内外的大数据标准化和未来发展趋势

大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据包括结构化、半结构化和非结构化数据，非结构化数据越来越成为数据的主要部分。据调查报告显示，企业中80%的数据都是非结构化数据，这些数据每年都按指数增长60%。在以云计算为代表的技术创新大幕的衬托下，这些原本看起来很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。

国内外大数据标准化的几大领域包括

一、基础标准

基础标准为整个标准体系提供包括总则、术语、参考模型等基础性标准，是整个标准体系的基石，其重要性不言而喻。在这一领域，ISO/IEC制定了ISO/IEC 20546—《信息技术-大数据-概览与术语》以及ISO/IEC 20547—《信息技术-大数据-参考架构》系列标准，参考架构系列标准包括框架与应用、用例与需求、参考架构、安全和隐私、标准化路线图等5个分册，作为大数据基础性标准考虑得相当全面。

而ITU-T的SG13也发布了ITU-T Y.3600—《基于云计算的大数据需求与能力》，作为该研究组大数据系列标准的基础，该标准定义了大数据生态系统中的相关角色及其活动，并规范了基于云计算的大数据的需求和能力。遗憾的是，ISO/IEC与ITU-T这两大国际标准化组织并没有像当初制定云计算标准时那样联合制定术语和参考架构这样的基础性标准，联合制定的标准无疑具备更大的影响力和更高的可参考性。

二、数据标准

数据标准主要针对底层数据相关要素进行规范。包括数据资源和数据交换共享两部分，其中数据资源包括元数据、数据元素、数据字典和数据目录等，数据交换共享包括数据交易和数据开放共享相关标准。

大数据的核心价值在于对多个不同来源的数据进行关联分析，因此包括数据交易、数据开放共享在内的相关标准就显得尤为重要。只有参与方遵循共同的标准，数据的交易与开放共享才能更为高效。在这一领域，ITU-T已发布了Y.3601—《大数据-数据交换框架与需求》，同时以此为基础正在制定《大数据-数据溯源需求》、《大数据-数据集成概览和功能需求》、《大数据-数据保留概览与需求》、《大数据-元数据框架与概念模型》等一系列数据标准。

三、管理标准

管理标准作为数据标准的支撑体系，贯穿于数据生命周期的各个阶段，主要对数据管理、运维管理和评估三个层次进行规范。

数据是企业的宝贵资产已成为业内共识，但如何对数据资产进行有效管理目前还处在非常原始的阶段，业界急需数据资产管理标准对相关工作进行规范指导。ITU-T SG16在今年7月刚刚立项了一个国际标准《数据资产管理框架》，该标准主要定义了数据资产的基本概念，梳理了数据资产管理的需求，提出了数据资产管理的框架。

在国内，CCSA成立了大数据技术标准推进委员会（CCSA TC601），其中的数据资产管理工作组专门从事数据资产管理方面的标准化研究工作，已发布了《数据资产管理实践白皮书（2.0）》，目前正在编写3.0版本。未来TC601将继续进行主数据、数据标准和数据质量等标准制订，并研究数据资产管理评估的模型。

四、安全和隐私标准

数据安全和隐私保护作为数据标准体系的重要部分，贯穿于整个数据生命周期的各个阶段。大数据安全虽仍继承了传统数据安全保密性、完整性和可用性等特性，但也有其特殊性，主要表现在个人隐私保护、跨境数据流动等方面。欧盟于今年5月颁布的《通用数据保护条例》（General Data Protection Regulation，简称GDPR），也进一步凸显了大数据时代数据隐私保护的重要性。

大数据行业的发展趋势

趋势一：数据的资源化

何为资源化，是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。

趋势二：与云计算的深度结合

大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据革命，让大数据营销发挥出更大的影响力。

趋势三：科学理论的突破

随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。

趋势四：数据科学和数据联盟的成立

未来，数据科学将成为一门专门的学科，被越来越多的人所认知。各大高校将设立专门的数据科学类专业，也会催生一批与之相关的新的就业岗位。与此同时，基于数据这个基础平台，也将建立起跨领域的数据共享平台，之后，数据共享将扩展到企业层面，并且成为未来产业的核心一环。

趋势五：数据泄露泛滥

未来几年数据泄露事件的增长率也许会达到100%，除非数据在其源头就能够得到安全保障。可以说，在未来，每个财富500强企业都会面临数据攻击，无论他们是否已经做好安全防范。而所有企业，无论规模大小，都需要重新审视今天的安全定义。在财富500强企业中，超过50%将会设置首席信息安全官这一职位。企业需要从新的角度来确保自身以及客户数据，所有数据在创建之初便需要获得安全保障，而并非在数据保存的最后一个环节，仅仅加强后者的安全措施已被证明于事无补。

趋势六：数据管理成为核心竞争力

数据管理成为核心竞争力，直接影响财务表现。当“数据资产是企业核心资产”的概念深入人心之后，企业对于数据管理便有了更清晰的界定，将数据管理作为企业核心竞争力，持续发展，战略性规划与运用数据资产，成为企业数据管理的核心。数据资产管理效率与主营业务收入增长率、销售收入增长率显著正相关;此外，对于具有互联网思维的企业而言，数据资产竞争力所占比重为36.8%，数据资产的管理效果将直接影响企业的财务表现。

趋势七：数据质量是BI(商业智能)成功的关键

采用自助式商业智能工具进行大数据处理的企业将会脱颖而出。其中要面临的一个挑战是，很多数据源会带来大量低质量数据。想要成功，企业需要理解原始数据与数据分析之间的差距，从而消除低质量数据并通过BI获得更佳决策。

趋势八：数据生态系统复合化程度加强

大数据的世界不只是一个单一的、巨大的计算机网络，而是一个由大量活动构件与多元参与者元素所构成的生态系统，终端设备提供商、基础设施提供商、网络服务提供商、网络接入服务提供商、数据服务使能者、数据服务提供商、触点服务、数据服务零售商等等一系列的参与者共同构建的生态系统。

如今，这样一套数据生态系统的基本雏形已然形成，接下来的发展将趋向于系统内部角色的细分，也就是市场的细分;系统机制的调整，也就是商业模式的创新;系统结构的调整，也就是竞争环境的调整等等，从而使得数据生态系统复合化程度逐渐增强。