熟悉数据挖掘和机器学习的小伙伴们都知道，数据处理相关的工作时间占据了整个项目的70%以上。数据的质量，直接决定了模型的预测和泛化能力的好坏。它涉及很多因素，包括：准确性、完整性、一致性、时效性、可信性和解释性。而在真实数据中，我们拿到的数据可能包含了大量的缺失值，可能包含大量的噪音，也可能因为人工录入错误导致有异常点存在，非常不利于算法模型的训练。数据清洗的结果是对各种脏数据进行对应方式的处理，得到标准的、干净的、连续的数据，提供给数据统计、数据挖掘等使用。

1、需要理解主流机器学习算法的原理和应用。

2、需要熟悉至少一门编程语言如(Python、C、C++、Java、Delphi等)。

3、需要理解数据库原理，能够熟练操作至少一种数据库(Mysql、SQL、DB2、Oracle等)，能够明白MapReduce的原理操作以及熟练使用Hadoop系列工具更好。

4、经典图书推荐：《数据挖掘概念与技术》、《机器学习实战》、《人工智能及其应用》、《数据库系统概论》、《算法导论》、《Web数据挖掘》、《 Python标准库》、《thinking in Java》、《Thinking in C++》、《数据结构》等。

一、对比法

对比法就是用两组或两组以上的数据进行比较，是最通用的方法。

我们知道孤立的数据没有意义，有对比才有差异。一些直接描述事物的变量，如长度、数量、高度、宽度等。通过对比得到比率数据，增速、效率、效益等指标，这才是数据分析时常用的。

比如用于在时间维度上的同比和环比、增长率、定基比，与竞争对手的对比、类别之间的对比、特征和属性对比等。对比法可以发现数据变化规律，使用频繁，经常和其他方法搭配使用。

二、象限法

通过对两种及以上维度的划分，运用坐标的方式表达出想要的价值。由价值直接转变为策略，从而进行一些落地的推动。象限法是一种策略驱动的思维，常于产品分析、市场分析、客户管理、商品管理等。

三、二八法/帕累托分析

二八法也可以叫帕累托法则，源于经典的二八法则。比如在个人财富上可以说世界上20%的人掌握着80%的财富。而在数据分析中，则可以理解为20%的数据产生了80%的效果需要围绕这20%的数据进行挖掘。往往在使用二八法则的时候和排名有关系，排在前20%的才算是有效数据。二八法是抓重点分析，适用于任何行业。找到重点，发现其特征，然后可以思考如何让其余的80%向这20%转化，提高效果。

一般地，会用在产品分类上，去测量并构建ABC模型。比如某零售企业有500个SKU以及这些SKU对应的销售额，那么哪些SKU是重要的呢，这就是在业务运营中分清主次的问题。

常见的做法是将产品SKU作为维度，并将对应的销售额作为基础度量指标，将这些销售额指标从大到小排列，并计算截止当前产品SKU的销售额累计合计占总销售额的百分比。

百分比在 70%(含)以内，划分为 A 类。

百分比在 70~90%(含)以内，划分为 B 类。

百分比在 90~100%(含)以内，划分为 C 类。

以上百分比也可以根据自己的实际情况调整。

ABC分析模型，不光可以用来划分产品和销售额，还可以划分客户及客户交易额等。比如给企业贡献80%利润的客户是哪些，占比多少。假设有20%，那么在资源有限的情况下，就知道要重点维护这20%类客户。

四、漏斗法

漏斗法即是漏斗图，有点像倒金字塔，是一个流程化的思考方式，常用于像新用户的开发、购物转化率这些有变化和一定流程的分析中。

五、公式法

所谓公式法就是针对某个指标，用公式层层分解该指标的影响因素。

举例：分析某产品的销售额较低的原因，用公式法分解：

①某产品销售额=销售量 X 产品单价

②销售量=渠道A销售量 + 渠道B销售量 + 渠道C销售量 + …

③渠道销售量=点击用户数 X 下单率

④点击用户数=曝光量 X 点击率

第一层：找到产品销售额的影响因素。某产品销售额=销售量 X 产品单价。是销量过低还是价格设置不合理?

第二层：找到销售量的影响因素。分析各渠道销售量，对比以往，是哪些过低了。

第三层：分析影响渠道销售量的因素。渠道销售量=点击用户数X 下单率。是点击用户数低了，还是下单量过低。如果是下单量过低，需要看一下该渠道的广告内容针对的人群和产品实际受众符合度高不高。

第四层：分析影响点击的因素。点击用户数=曝光量X点击率。是曝光量不够还是点击率太低，点击率低需要优化广告创意，曝光量则和投放的渠道有关。

通过对销售额的逐层拆解，细化评估以及分析的粒度。

公式拆解法是针对问题的层级式解析，在拆解时，对因素层层分解，层层剥尽。