1、数据清理

数据清理(data cleaning) 的主要思想是通过填补缺失值、光滑噪声数据，平滑或删除离群点，并解决数据的不一致性来“清理“数据。如果用户认为数据时脏乱的，他们不太会相信基于这些数据的挖掘结果，即输出的结果是不可靠的。

2、数据集成

数据分析任务多半涉及数据集成。数据集成将多个数据源中的数据结合成、存放在一个一致的数据存储，如数据仓库中。这些源可能包括多个数据库、数据方或一般文件。

3、数据规约

数据归约技术可以用来得到数据集的归约表示，它小得多，但仍接近地保持原数据的完整性。 这样，在归约后的数据集上挖掘将更有效，并产生相同(或几乎相同)的分析结果。

4、数据变换

数据变换包括对数据进行规范化，离散化，稀疏化处理，达到适用于挖掘的目的。

一、对比法

对比法就是用两组或两组以上的数据进行比较，是最通用的方法。

我们知道孤立的数据没有意义，有对比才有差异。一些直接描述事物的变量，如长度、数量、高度、宽度等。通过对比得到比率数据，增速、效率、效益等指标，这才是数据分析时常用的。

比如用于在时间维度上的同比和环比、增长率、定基比，与竞争对手的对比、类别之间的对比、特征和属性对比等。对比法可以发现数据变化规律，使用频繁，经常和其他方法搭配使用。

二、象限法

通过对两种及以上维度的划分，运用坐标的方式表达出想要的价值。由价值直接转变为策略，从而进行一些落地的推动。象限法是一种策略驱动的思维，常于产品分析、市场分析、客户管理、商品管理等。

三、二八法/帕累托分析

二八法也可以叫帕累托法则，源于经典的二八法则。比如在个人财富上可以说世界上20%的人掌握着80%的财富。而在数据分析中，则可以理解为20%的数据产生了80%的效果需要围绕这20%的数据进行挖掘。往往在使用二八法则的时候和排名有关系，排在前20%的才算是有效数据。二八法是抓重点分析，适用于任何行业。找到重点，发现其特征，然后可以思考如何让其余的80%向这20%转化，提高效果。

一般地，会用在产品分类上，去测量并构建ABC模型。比如某零售企业有500个SKU以及这些SKU对应的销售额，那么哪些SKU是重要的呢，这就是在业务运营中分清主次的问题。

常见的做法是将产品SKU作为维度，并将对应的销售额作为基础度量指标，将这些销售额指标从大到小排列，并计算截止当前产品SKU的销售额累计合计占总销售额的百分比。

百分比在 70%(含)以内，划分为 A 类。

百分比在 70~90%(含)以内，划分为 B 类。

百分比在 90~100%(含)以内，划分为 C 类。

以上百分比也可以根据自己的实际情况调整。

ABC分析模型，不光可以用来划分产品和销售额，还可以划分客户及客户交易额等。比如给企业贡献80%利润的客户是哪些，占比多少。假设有20%，那么在资源有限的情况下，就知道要重点维护这20%类客户。

四、漏斗法

漏斗法即是漏斗图，有点像倒金字塔，是一个流程化的思考方式，常用于像新用户的开发、购物转化率这些有变化和一定流程的分析中。

五、公式法

所谓公式法就是针对某个指标，用公式层层分解该指标的影响因素。

举例：分析某产品的销售额较低的原因，用公式法分解：

①某产品销售额=销售量 X 产品单价

②销售量=渠道A销售量 + 渠道B销售量 + 渠道C销售量 + …

③渠道销售量=点击用户数 X 下单率

④点击用户数=曝光量 X 点击率

第一层：找到产品销售额的影响因素。某产品销售额=销售量 X 产品单价。是销量过低还是价格设置不合理?

第二层：找到销售量的影响因素。分析各渠道销售量，对比以往，是哪些过低了。

第三层：分析影响渠道销售量的因素。渠道销售量=点击用户数X 下单率。是点击用户数低了，还是下单量过低。如果是下单量过低，需要看一下该渠道的广告内容针对的人群和产品实际受众符合度高不高。

第四层：分析影响点击的因素。点击用户数=曝光量X点击率。是曝光量不够还是点击率太低，点击率低需要优化广告创意，曝光量则和投放的渠道有关。

通过对销售额的逐层拆解，细化评估以及分析的粒度。

公式拆解法是针对问题的层级式解析，在拆解时，对因素层层分解，层层剥尽。

第一，目标律。数据挖掘是一个业务过程，必须得有业务目标。无目的，无过程。

第二，知识律。业务知识贯穿在挖掘这个业务过程的各环节。

第三，准备律。数据获取、数据准备等数据处理耗时占整个挖掘过程的一半。

第四，NFL律。NFL，没有免费的午餐。没有一个固定的算法适用所有的业务问题，特定应用适合的模型只能通过经验发现。

第五，大卫律。要相信，数中必有业务规律。大卫·沃尔金斯最早提出的，故此名。

第六，洞察律。数据挖掘本质上是增强对业务领域的认知。

第七，预测律。数据挖掘基于过去得出模式，并泛化到类似新事物上，这就是预测，但这是统计概念的。

第八，价值律。挖掘模型的最终价值并非模型精度或稳定性，而是驱动业务行动或通过新洞察导致策略改善。

第九，变化律。人不会两次踏入同一条河流。业务在变，目标在变，认识也在变，甚至规律本身也在变，挖掘模型也得与时俱进。