大数据分析平台总体架构方案(82页).ppt

1、智慧金融：金融集团大数据分析平台总体架构方案,议程,大数据分析平台综述,1,大数据分析平台总体架构,2,大数据分析平台演进路线,3,大数据分析平台一期实施重点,4,附录：数据质量管理平台,5,金融集团管理分析类应用建设现状基本分析,关注的内容,存在的问题,基本的现状,商城数据仓库累积数据没有充分利用缺乏面向整个金融集团的统一、完整的数据视图；缺乏支撑金融集团日常业务运转的风险评估体系；缺乏金融集团客户360度视图，客户行为分析和预测无法实现；缺乏面向金融业务运营管理的关键绩效指标体系；,商城已建立面向整个零售业务的数据仓库，整合了前台业务运营数据和后台管理数据，建立了面向零售的管理分析应用；金

2、融集团已开展供应链金融、人人贷和保理等多种业务，积累了一定量的业务数据，同时业务人员也从客户管理、风险评级和经营规模预测等方面，提出了大量分析预测需求；,数据平台、数据应用、数据管控,基础数据平台和BI应用建设是未来一段时间的重点！,数据平台整体架构；数据平台各层建设的标准；较成熟的金融业数据模型；数据质量治理；元数据管理；数据标准建设 数据整合；数据应用建设；数据平台的软硬环境,大数据分析平台建设目标,外部非结构化数据,统一制定目标和分析模型,自定义报表工具行列的简单定义方式,多种格式报表,集团决策层,集团职能管控层,各级业务操作层,关注集团主要经营指标,业务人员使用BI应用实现业务协作和创

3、新,BI 分析工具,供应链金融系统,POP系统,其他业务系统,云数据推送平台已实现了主要零售及金融业务系统数据清洗、整合，为未来金融集团数据平台提供了丰富的数据源。,通过数据平台和BI应用建设，金融集团将搭建统一的大数据共享和分析平台，对各类业务进行前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能力,采购管理系统,查看职能部门的业务经营情况,大数据分析平台建设预期收益,2.加强业务协作,3.促进业务创新,4.提升建设效率,5.改善数据质量,1.实现数据共享,议程,大数据分析平台综述,1,大数据分析平台总体架构,2,大数据分析平台演进路线,3,大数据分析平台一期实施

4、重点,4,附录：数据质量管理平台,5,大数据分析平台总体架构,历史数据查询,数据交换平台,应用集市数据区,企业内外部半结构化、非结构化数据,大数据交换组件,数据库数据交换组件,数据区数据交换组件,大数据区,沙盘演练数据区,实时数据区,客户主题,协议主题,产品主题,业务沙盘演练,数据增值产品,零售数据,供应链数据,增值产品数据区,主题数据区,用户访问层,客户汇总,账户汇总,机构汇总,社交媒体,移动互联,用户评价,访问日志,处理后大数据,待处理大数据,流程调度,监控告警,数据标准,数据质量,元数据,数据安全,流程调度平台,数据管控平台,流程调度层,实时数据查询,客户管理,财务管理,外部用户,贴源数

5、据区,内部管理分析,内部用户,历史归档数据区,IT人员,风险管理,大数据分析平台总体架构数据产生层,内部业务系统产生的结构化数据商城日常零售业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水金融集团日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品信息、交易流水企业内部非结构化数据日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评企业外部数据企业外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息,源数据内容,在本次

6、项目实施中将采用以增量为主、全量为辅结合的方式获取源数据商城和金融集团业务系统的数据增量数据识别、获取由云数据推送平台负责，云数据推送平台采用分析、对比源系统日志方式实现对于无法通过上述方式获取增量的源系统数据，则采用某一个时间范围内的全部数据作为增量初始数据加载均采用全量模式,源数据增量,大数据分析平台总体架构数据交换层,数据交换层设计目标,传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据存储结构和数据存储库的特点来针对性的设计工具，以追求卓越的性能,数据区数据交换组件,数据库数据交换组件,大数据交换组件,金融集团系统,数据服务层,外部大数据,商城系统,Hadoop元数据,云数据推送平台,数据平台导入临时区,数据平台导出临时区,NAS 存储,ETL程序区,大数据分析平台总体架构数据交换层NAS存储,Hadoop集群元数据区,数据平台ETL数据处理程序区,数据平台临时数据区,大数据分析平台总体架构数据交换层大数据交换组件,企业内部非结构化、半结构化数据，如：音频、视频、邮件、Office文档、抵押品扫描件等企业外部非结构化、半结构化数据，如：微博、贴吧、论坛、用户点击流、