1、数据层,针对不同系统进行分析,制定系统数据采集范围与目标,收集各个业务系统产生的各类数据,将各种结构化和非结构化数据进行整合,为大数据的分析提供支撑。
2、大数据采集与存储旨在为各类异构数据研制适配接口,与其他各系统对接,并为数据提供适配、转换、存储等基本管理功能,基本步骤包括:
数据抽取:针对大数据分析平台需要采集的各类数据,分别有针对性地研制适配接口。对于已有的信息系统,研发对应的接口模块与各信息系统对接,不能实现数据共享接口的系统通过ETL工具进行数据采集,支持多种类型数据库,按照相应规范对数据进行清洗转换,从而实现数据的统一存储管理。
数据预处理:为使大数据分析平台能更方便对数据进行处理,同时为了使得数据的存储机制扩展性、容错性更好,需要把数据按照相应关联性进行组合,并将数据转化为文本格式,作为文件存储下来。
数据存储:为了提升数据存储的扩展性和容错性,采用主流的大数据框架对各类数据统一进行文本化存储,数据按相应规则存储,实现每日保存一套完整数据文件集,形成数据仓库。
3、数据分析和展示是核心业务层,通过数据报表工具,根据需求制定多样的,针对性的数据报表。针对存储的数据进行数据处理、算法运行、结果转换操作,将结果保存为报表文件,每日形成的报表文件集。报表展现系统将生成的报表文件以可视化方式进行展现。
系统架构应高安全性、易扩展性,能够支持各类主流开发语言,并提供丰富的接口。同时能够支持结构化和非结构化数据的存储和应用。通过建立物联网应用,实现对物品、人员、安全等各方面管理的强大支撑,提升管理质量的同时积累大量管理数据和行为数据。
关于数据分析平台由哪些部分组成,青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。