案例精选 | 大数据平台在金融行业的应用

项目背景

集中数据处理平台为多家银行外围系统提供数据处理支撑与人工智能领域建模技术支持。目前整体平台包含14台应用服务器集群，装载数据量已达30T，包含有超过60家银行涉及十多种相关系统业务数据汇集。

解决方案

基于当前集中数据处理平台分布式系统，以平台思维为驱动，快速的构建一套简明清晰的数据管理体系，建立一套统一的数据标准，完善一套治理机制与制度，形成数据质量的闭环管理，充分激发现有平台系统潜能，挖掘更大的潜在价值。

建立持续获取的元数据变化周期的技术手段，并结合数据标准及质量管理的机制。通过上述手段和机制，最终形成了我们数据治理方面的根基，通过构建并持续完善数据标准体系，建立跨系统数据质量检核机制，强化数据的质量管控，深化元数据分析应用等用以支持日益增长的数据管理需求。

功能优势

• 多数据源支持：目前已支持同步Hive、Hbase、Mysql、Oracle数据源的元数据，支持类型持续拓展中。同步方式支持：实时、周期、手动。

• 可拓展的元模型：适配各类型数据源内置的元数据结构。并且支持拓展元模型结构，根据实际的业务需求，补充业务元数据，使数据更容易理解。

• 自定义元数据中心：根据不同类型的数据源，自定义设计元数据中心搜索页面。自主配置筛选条件、展示内容，让数据更容易查找。

• 深度解析数据血缘关系 支持表级、字段级的血缘解析。辅助开发人员快速定位数据问题、溯源数据、评估数据影响力。

• 灵活的数据质量监控规则：支持表级、字段级、自定义sql的监控规则配置。可生成监控质量报告，为一线的业务决策提供高质量的数据基础。

• 全方位保障数据安全：通过数据权限控制、数据安全保护、数据使用监控等方式，全方位保障数据安全。

客户价值

• 看得懂：能够赋予数据以业务价值，让各级用户能够直观的理解数据、看懂数据，进而提升数据价值

• 用的好：能够将数据标准落地，统一建模形成质量控制能力，并以此为基础直接向应用输出数据为服务

• 捋的顺：能够对快速梳理数据链路，让数据管理者和使用者能够直观的、清晰的掌握数据应用与服务路径

• 点的清：能够助力用户全面清点数据资产，定期进行数据资源统计分析，让管理者真正做到“心中有数”

• 盘的活：遵循应用先行、以用带存、由存而通、因通促用的理念，帮助客户盘活数据资产驱动业务创新

系统1：数据调度平台

平台概述

基于大数据底层架构的数据调度平台负责管理数据相关的调度任务，可以支持自定义的数据抽取流程配置。系统支持可视化、简单且动态的管理调度相关脚本、任务等；也可支持定时任务调度、任务执行生命周期管理和任务运行实时监控告警等功能。具有开发迅速、易操作、易扩展等优势。

主要功能模块

• 任务调度：实现任务与任务之间可配置的数据抽取流程，形成有向无环图。

• 定时任务调度执行：实现固定时间点触发的任务；也支持每秒钟或者每小时、每天、每星期、每月等周期执行一次的任务；以及通过手动触发任务的调度执行。

• 任务执行生命周期管理：通过非常友好的用户Web界面创建任务，可动态修改任务状态、暂停/恢复，以及终止运行中任务，即时生效。

• 任务运行实时监控：通过任务运行监控模块，可实时监控系统运行各个任务运行状态、日志等，并提供对任务运行过程出现异常进行邮件告警。

• API 数据接入：外部数据一键接入，快速响应企业内部业务数据需要。

• 错误队列：实时收集数据相关错误，后置处理错误数据，个性化设置错误队列。

系统优势

• 高可靠性：采用分布式的架构设计；集群化部署；采用任务队列来避免过载

• 简单易用：流程定义可视化；通过API方式与第三方系统对接

• 丰富的使用场景：支持多租户；支持多任务类型；支持暂停恢复操作

• 高扩展性：任务类型自定义；分布式调度器；调度能力与集群线性增长

调度模块展示

系统2：元数据管理平台

平台概述

用于大数据平台中数据治理根基的元数据管理系统围绕数据的全生命周期，利用元数据分类、数据血缘分析、元数据生命周期、数据审计等功能模块帮助企业发现和查找数据关系和数据问题等，最终为企业实现数据之间的综合使用和挖掘提供数据基础。

因此全面开展大数据平台的元数据管理工作并利用数据的血缘分析等相关功能，有利于梳理企业各业务系统现有的数据和确定数据仓库各业务主题的数据来源并支撑数据仓库的建设，使得企业可以理清所有数据的来龙去脉，快速定位数据问题源头。

主要功能模块

• 类型管理：存储元数据模型；名称**、属性、父类型；并支持属性扩展

• 数据质量：内置校验规则；并支持自定义规则

• 术语表：支持术语和术语表自定义创建，为业务人员提供友好支持

• 血缘分析：利用图谱的方式进行数据上下游的追溯和分析，通过数据血缘分析，构建数据关系网络，当数据出现问题时，帮助数据使用者快速定位问题源头。也可通过分析图中关系实体的数量，可有效评估数据影响面。

• 元数据审计：全面记录元数据周期中的变化情况，为后续数据跟踪提供保证

界面展示

北光科技成立于2007年，是一家专注于人工智能、机器视觉、智能制造工业软件和大数据平台的软件公司。北光科技分别在中国、印度、菲律宾和美国设有分支机构，全球员工超过700人。