CN /
北光科技发展(天津)有限公司
新闻详情

IT百科 | 元数据:数据治理的基石

发表时间:2020-11-02 09:45

“ 元数据管理是企业数据的基础。 ”在企业数据治理战略实施的时候,有一个绕不开的知识点就是元数据。那么,元数据是什么?元数据如何理解?元数据的作用是什么?本篇文章将为大家梳理元数据的概念,帮助企业理解元数据的作用。

元数据概述

元数据(Metadata),又称中介数据、中继数据,为描述数据的数据(data about data),主要是描述数据属性(property)的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录,为了达到编制目录的目的,必须在描述并收藏数据的内容或特色,进而达成协助数据检索的目的。元数据的基本特点主要有:

  • 元数据一经建立,便可共享。元数据的结构和完整性依赖于信息资源的价值和使用环境;元数据的开发与利用环境往往是一个变化的分布式环境;任何一种格式都不可能完全满足不同团体的不同需要。

  • 元数据首先是一种编码体系。元数据是用来描述数字化信息资源,特别是网络信息资源的编码体系,这导致了元数据和传统数据编码体系的根本区别;元数据的最为重要的特征和功能是为数字化信息资源建立一种机器可理解框架。

由于元数据也是数据,因此可以用类似数据的方法在数据库中进行存储和获取。如果提供数据元的组织同时提供描述数据元的元数据,将会使数据元的使用变得准确而高效。用户在使用数据时可以首先查看其元数据以便能够获取自己所需的信息。

如何理解元数据

元数据是用来描述数据的数据(Data that describes other data)。在日常生活中,元数据无所不在。有一类事物,就可以定义一套元数据。我们来举个例子理解一下什么是元数据———沈从文的小说《边城》中有一段对青年女子翠翠的形象描写:“翠翠在风日里长养着,把皮肤变得黑黑的,一对眸子清明如水晶,自然既长养她且教育她。为人天真活泼,处处俨如一只小兽物。人又那么乖,和山头黄麂一样,从不想到残忍事情,从不发愁,从不动气。”

这段话里提供了这样几个信息:名字(翠翠)、相貌(皮肤黑黑的,一对眸子清明如水晶)、性格(为人天真活泼,人又那么乖),心理特征(从不想到残忍事情,从不发愁,从不动气)。这个例子中的"名字"、"相貌"、"性格"、"心理特征",就是元数据,因为它们是用来描述具体数据/信息的数据/信息。

再举一个例子———在影评网站上可以查到每一部电影的信息。影评网站本身定义了一套元数据,用来描述每一部电影。下面是它的一级元数据,每一级下面又列出了二级元数据,总共加起来,可以从100多个方面刻画一部电影:导演、编剧、演员、类型、语言、外部链接、上映日期、时长等等。元数据最大的好处是,它使信息的描述和分类可以实现格式化,从而为机器处理创造了可能。

电影评分@凡科快图 (1).png


元数据的类型

根据数据的性质特点,可将元数据划分为三类:业务元数据、技术元数据和管理元数据。

  • 业务元数据是描述数据的业务含义、业务规则等。

  • 技术元数据是对数据的结构化,方便计算机或数据库之间对数据进行识别、存储、传输和交换。

  • 管理元数据描述了数据的管理属性,包括管理部门、管理责任人等,是数据安全管理的基础。

元数据类型@凡科快图.png

元数据的结构

  • 内容结构:包括描述性元素、技术性元素、管理性元素、复用性元素。

  • 句法结构:包括元素的分区分层分段组织结构、元素结构描述方法、DTD描述语言、元数据复用方式、与被描述对象的捆绑方式。

  • 语义结构:包括元素内容编码规则定义、元素定义、元素语义概念关系、元数据版本管理。

元数据的作用

元数据是信息资源描述的重要工具,可以用于信息资源的建立、发布、转换、使用、共享等各个方面。元数据在信息资源组织方面的作用可以概括为五个方面:描述、定位、搜寻、评估和选择。

  • 描述作用:元数据最基本的功能就在于对信息对象的内容和位置进行描述,从而为信息对象的存取与利用奠定必要的基础。

  • 定位作用:元数据包含有关信息资源位置方面的信息,因而由此便可确定资源的位置之所在,促进了网络环境中信息对象的发现和检索。此外,在信息对象的元数据确定以后,信息对象在数据库或其他集合体中的位置也就确定了。

  • 搜寻作用:元数据提供搜寻的基础,在著录的过程中,将信息对象中的重要信息抽出并加以组织,赋予语意,并建立关系,使检索结果更加准确,从而有利于用户识别资源的价值,发现其真正需要的资源。

  • 评估作用:元数据提供有关信息对象的名称、内容、年代、格式、制作者等基本属性,使用户在无需浏览信息对象本身的情况下,就能够对信息对象具备基本了解和认识,参照有关标准即可对其价值进行必要的评估,作为存取利用的参考。

  • 选择作用:根据元数据所提供的描述信息,参照相应的评估标准,结合使用环境,用户便能够做出对信息对象取舍的决定,选择适合用户使用的资源。

元数据管理

初期的元数据管理通常是在事后由相应的元数据管理软件,从已开发完成的应用系统中抽取用户所关注的各类元数据,再由人工补录一些注释和管理用的属性。这种模式称之为基本元数据管理,由于存在元数据获取的不及时,存在为了减少工作量有些属性空缺的风险,存在对应用体验支持力度的不足。

在新一代应用系统中,业务功能通常都是由相应的构件,以人机交互的形式,通过在人工业务语境的对话过程中组装实现的。这个过程中,不仅完成了业务应用所需要的应用软件元素,同时也完成了应用软件元素相对应的元数据的采集。这种模式称之为主动元数据管理。以下是元数据管理的主要功能,后两部分属于主动元数据管理的内容。

基本管理

  • 元模型管理——利用可视化的用户体验,实现包括元模型添加、删除、修改、发布等维护功能;并且能让用户直观地了解已有元模型的分类、统计、使用情况、变更追溯,以及每个元模型的生命周期管理等等。   

  • 元数据管理——元数据管理实现针对元数据的基本管理功能。如元数据的添加、删除、修改属性等维护功能;元数据之间关系的建立、删除和跟踪等关系维护功能;提供元数据发布流程管理,可以更好地管理和跟踪元数据的整个生命周期;元数据自身质量核查、元数据查询、元数据统计、元数据使用情况分析、元数据变更、元数据版本和生命周期管理等功能。

  • 元数据分析——元数据分析功能主要实现针对元数据的基本分析功能。包括血缘分析(血统分析)、影响分析、实体关联分析、实体影响分析、主机拓扑分析、指标一致性分析等。

捕获

为各类应用软件元素提供元数据支撑,在相应的工具软件以最佳用户体验的人机交互模式,按照严格的逻辑步骤,统一、顺序地定义数据项、定义表单、定义ETL和加工规则、定义物理表、定义多维模型、定义展现和结果数据集等等应用软件元素的同时,元数据捕获功能的元数据采集接口,及时地将相应的元数据收集进入元数据管理平台。替代了基本元数据管理需要在事后抽取元数据的作法,而在应用软件元素生成的同时,就加载并形成了与其相关的各种元数据。

服务

各类应用软件元素产生的元数据进入元数据平台后,元数据管理可通过元数据服务功能,为需要这些元数据的工具软件或构件提供元数据服务。如将前面所述的各种工具软件的定义结果,以相应的标准协议进行打包形成方案(应用脚本),提供给其它应用环境中的物理表建立工具、ETL工具、多维模型建立工具、结果展现工具等底层工具,从而实现应用的重用和共享。

同时,元数据服务还可为业务应用功能提供辅助的元数据帮助信息,如业务功能中加工结果和指标的说明、提示,及其血缘分析等,让用户可明确、直观地了解数据的来源、加工过程及加工算法等信息。

(以上内容部分来源于网络,侵删)




LOGO 331x228.png


北光科技成立于2007年,是一家专注于人工智能、机器视觉、智能制造工业软件和大数据平台的软件公司。北光科技分别在中国、印度、菲律宾和美国设有分支机构,全球员工超过700人。

gif5新文件 (3).gif

文章列表
2022-04-08
2022-04-02
2021-11-12
2021-10-20
2021-10-09
2021-08-30
2021-04-27
2021-01-11