大数据预处理的流程是怎样的?

环球青藤 2021/02/26 02:59

数据清理:指利用ETL等清洗东西,对有遗漏数据(短少感兴趣的特点)、噪音数据(数据中存在着过错、或偏离期望值的数据)、不一致数据进行处理。

数据集成:是指将不同数据源中的数据,兼并存放到一致数据库的,存储方法,着重解决三个问题:模式匹配、数据冗余、数据值冲突检测与处理。

数据转换:是指对所抽取出来的数据中存在的不一致,进行处理的过程。它一起包含了数据清洗的作业,即依据事务规矩对异常数据进行清洗,以确保后续剖析结果准确性。

数据规约:是指在最大极限保持数据原貌的基础上,最大极限精简数据量,以得到较小数据集的操作,包含:数据方集合、维规约、数据压缩、数值规约、概念分层等。

关于大数据预处理的流程是怎样的,青藤小编就和您分享到这里了。如果你对大数据工程有浓厚的兴趣,希望这篇文章能够对你有所帮助。如果您还想了解更多数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。

免费直播

    精选课程 更多

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司