大数据处理一般有哪些流程?

环球青藤 2021/02/24 02:44

第一,数据收集

定义:利用多种轻型数据库来接收发自客户端的数据,并且用户可以通过这些数据库来进行简略的查询和处理工作。

特色和应战:并发系数高。

运用的产品:MySQL,Oracle,HBase,Redis和 MongoDB等,并且这些产品的特色各不相同。

第二,统计剖析

定义:将海量的来自前端的数据快速导入到一个集中的大型分布式数据库 或者分布式存储集群,利用分布式技术来对存储于其内的集中的海量数据 进行普通的查询和分类汇总等,以此满足大多数常见的剖析需求。

特色和应战:导入数据量大,查询涉及的数据量大,查询恳求多。

运用的产品:InfoBright,Hadoop(Pig和Hive),YunTable, SAP Hana和Oracle Exadata,除Hadoop以做离线剖析为主之外,其他产品可做实时剖析。

第三,发掘数据

定义:基于前面的查询数据进行数据发掘,来满足高档其他数据剖析需求。

特色和应战:算法复杂,并且计算涉及的数据量和计算量都大。

运用的产品:R,Hadoop Mahout。

关于大数据处理一般有哪些流程,青藤小编就和您分享到这里了。如果你对大数据工程有浓厚的兴趣,希望这篇文章能够对你有所帮助。如果您还想了解更多数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。

免费直播

    精选课程 更多

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司