企业应该如何去做数据挖掘?

环球青藤 2020/11/03 06:29

第一, 是商业理解, 在我看来, 这个商业理解就是要把业务问题转换成数据挖掘问题, 目前数据挖掘的理论概念中, 一般都包括分类, 聚类,回归, 关联规则这几类, 这需要对这几类方法有一定的理解, 才能有效地转换,

第二. 数据理解, 数据描述了我们的业务, 在这一步, 我们必须找准对应关系, 所面临的业务问题, 有哪些数据可以用, 我们做的是定量分析, 没有数据显然是得不到模型的, 知道哪里数据和业务关系紧密, 也能让我们的分析事半功倍,

第三.数据准备, 实际上数据挖掘的大部分工作都在这一步, 往往到了这一步就发现理想很美好, 但现实很骨感, 数据质量令人堪忧, 缺失值, 异常值接踵而来, 这是数据的错误, 还有为了适应算法, 需要将数据去量纲化, 类型转换, 去相关性, 降维等等操作, 这一步将消耗分析人员大量精力

第四, 建模, 这一步需要对算法理解透彻, 要了解数据特征和算法特点, 才能选择最优算法, 以及最优参数, 很多算法的使用是有假设条件的, 必须仔细掌握, 得到的模型才会合理, 另外,还要考虑业务需要, 如果模型必须能解释, 那就要选择生成式模型算法

第五, 评价, 就是模型评估了, 各种评估指标的侧重点是不一样的, 要以最能反应业务的指标为准, 另外,评估数据的选择也很关键, 要尽可能的模拟实际生产环境, 才能评估模型的性能。

关于企业应该如何去做数据挖掘,青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。

免费直播

    精选课程 更多

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司