大数据平台 大数据平台 大数据平台为多家金融机构业务系统提供数据处理支撑与人工智能领域建模技术支持。建立持续获取的元数据变化周期的技术手段,并结合数据标准及质量管理的机制,建立跨系统数据质量检核机制,强化数据的质量管控,深化元数据分析应用等,以支持日益增长的数据管理需求。
功能优势 客户价值 用的好:能够将数据标准落地,统一建模形成质量控制能力,并以此为基础直接向应用输出数据为服务 盘的活:遵循应用先行、以用带存、由存而通、因通促用的理念,帮助客户盘活数据资产驱动业务创新 功能优势 看得懂:能够赋予数据以业务价值,让各级用户能够直观的理解数据、看懂数据,进而提升数据价值 多数据源支持 目前已支持同步Hive、Hbase、Mysql、Oracle数据源的元数据,支持类型持续拓展中。同步方式支持:实时、周期、手动。 捋的顺:能够对快速梳理数据链路,让数据管理者和使用者能够直观的、清晰的掌握数据应用与服务路径 大数据平台 随着 IoT、大数据等技术的成熟,预测性维护应运而生,它不仅可以对设备实时监测,进行大数据分析,提前感知设备故障,而且可以远程服务和提前排查故障隐患,使得维护变得更加智能,运营更加可靠,成本也更低。是行业数字化转型的基石。
主要功能模块 可拓展的元模型 适配各类型数据源内置的元数据结构。并且支持拓展元模型结构,根据实际的业务需求,补充业务元数据,使数据更容易理解。 自定义元数据中心 根据不同类型的数据源,自定义设计元数据中心搜索页面。自主配置筛选条件、展示内容,让数据更容易查找。 基于大数据底层架构的数据调度平台负责管理数据相关的调度任务,可以支持自定义的数据抽取流程配置。系统支持可视化、简单且动态的管理调度相关脚本、任务等;也可支持定时任务调度、任务执行生命周期管理和任务运行实时监控告警等功能。具有开发迅速、易操作、易扩展等优势。 深度解析数据血缘关系 支持表级、字段级的血缘解析。辅助开发人员快速定位数据问题、溯源数据、评估数据影响力。 全方位保障数据安全 通过数据权限控制、数据安全保护、数据使用监控等方式,全方位保障数据安全。 系统1:数据调度平台 任务调度 实现任务与任务之间可配置的数据抽取流程,形成有向无环图。 定时任务调度执行 实现固定时间点触发的任务;也支持每秒钟或者每小时、每天、每星期、每月等周期执行一次的任务。 任务执行生命周期管理 通过友好的用户Web界面创建任务,可动态修改任务状态、暂停/恢复,以及终止运行中任务。 API数据接入 外部数据一键接入,快速响应企业内部业务数据需要。 错误队列 实时收集数据相关错误,后置处理错误数据,个性化设置错误队列。 任务运行实时监控 可实时监控系统运行各个任务运行状态、日志等,并提供对任务运行过程出现异常进行邮件告警。 点的清:能够助力用户全面清点数据资产,定期进行数据资源统计分析,让管理者真正做到“心中有数” 灵活的数据质量监控规则 支持表级、字段级、自定义sql的监控规则配置。可生成监控质量报告,为业务决策提供高质量的数据基础。 O O O O O 系统优势 高可靠性:采用分布式的架构设计;集群化部署;采用任务队列来避免过载 简单易用:流程定义可视化;通过API方式与第三方系统对接 丰富的使用场景:支持多租户;支持多任务类型;支持暂停恢复操作 高扩展性:任务类型自定义;分布式调度器;调度能力与集群线性增长 O O O O 系统2:元数据管理平台 用于大数据平台中数据治理根基的元数据管理系统围绕数据的全生命周期,利用元数据分类、数据血缘分析、元数据生命周期、数据审计等功能模块帮助企业发现和查找数据关系和数据问题等,最终为企业实现数据之间的综合使用和挖掘提供数据基础。 主要功能模块 类型管理 存储元数据模型;名称唯一、属性、父类型;并支持属性扩展 数据质量 内置校验规则;并支持自定义规则 术语表 支持术语和术语表自定义创建,为业务人员提供友好支持 血缘分析 利用图谱的方式进行数据上下游的追溯和分析,通过数据血缘分析,构建数据关系网络,当数据出现问题时,帮助数据使用者快速定位问题源头。也可通过分析图中关系实体的数量,可有效评估数据影响面。 元数据审计 全面记录元数据周期中的变化情况,为后续数据跟踪提供保证 |
|