大数据平台架构有哪些?

环球青藤 2021/01/22 02:26

一、事务使用:其实指的是数据收集,你经过什么样的方法收集到数据。互联网收集数据相对简略,经过网页、App就能够收集到数据,比方许多银行现在都有自己的App。

更深层次的还能收集到用户的行为数据,能够切分出来许多维度,做很细的剖析。但是对于涉及到线下的行业,数据收集就需要借助各类的事务体系去完成。

二、数据集成:指的其实是ETL,指的是用户从数据源抽取出所需的数据,经过数据清洗,终究依照预先定义好的数据仓库模型,将数据加载到数据仓库中去。而这儿的Kettle仅仅ETL的其中一种。

三、数据存储:指的便是数据仓库的建设了,简略来说能够分为事务数据层(DW)、指标层、维度层、汇总层(DWA)。

四、数据同享层:表明在数据仓库与事务体系间提供数据同享服务。Web Service和Web API,代表的是一种数据间的衔接方法,还有一些其他衔接方法,能够依照自己的情况来确定。

五、数据剖析层:剖析函数就相对比较容易理解了,便是各种数学函数,比方K均值剖析、聚类、RMF模型等等。

六、数据展现:结果以什么样的方式呈现,其实便是数据可视化。这儿建议用敏捷BI,和传统BI不同的是,它能经过简略的拖拽就生成报表,学习成本较低。

七、数据访问:这个就比较简略了,看你是经过什么样的方法去查看这些数据,图中示例的是因为B/S架构,终究的可视化结果是经过浏览器访问的。

关于大数据平台架构有哪些,青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章能够对你有所帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。

免费直播

    精选课程 更多

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司