熟悉数据挖掘和机器学习的小伙伴们都知道，数据处理相关的工作时间占据了整个项目的70%以上。数据的质量，直接决定了模型的预测和泛化能力的好坏。它涉及很多因素，包括：准确性、完整性、一致性、时效性、可信性和解释性。而在真实数据中，我们拿到的数据可能包含了大量的缺失值，可能包含大量的噪音，也可能因为人工录入错误导致有异常点存在，非常不利于算法模型的训练。数据清洗的结果是对各种脏数据进行对应方式的处理，得到标准的、干净的、连续的数据，提供给数据统计、数据挖掘等使用。

一、对比法

对比法就是用两组或两组以上的数据进行比较，是最通用的方法。

我们知道孤立的数据没有意义，有对比才有差异。一些直接描述事物的变量，如长度、数量、高度、宽度等。通过对比得到比率数据，增速、效率、效益等指标，这才是数据分析时常用的。

比如用于在时间维度上的同比和环比、增长率、定基比，与竞争对手的对比、类别之间的对比、特征和属性对比等。对比法可以发现数据变化规律，使用频繁，经常和其他方法搭配使用。

二、象限法

通过对两种及以上维度的划分，运用坐标的方式表达出想要的价值。由价值直接转变为策略，从而进行一些落地的推动。象限法是一种策略驱动的思维，常于产品分析、市场分析、客户管理、商品管理等。

三、二八法/帕累托分析

二八法也可以叫帕累托法则，源于经典的二八法则。比如在个人财富上可以说世界上20%的人掌握着80%的财富。而在数据分析中，则可以理解为20%的数据产生了80%的效果需要围绕这20%的数据进行挖掘。往往在使用二八法则的时候和排名有关系，排在前20%的才算是有效数据。二八法是抓重点分析，适用于任何行业。找到重点，发现其特征，然后可以思考如何让其余的80%向这20%转化，提高效果。

一般地，会用在产品分类上，去测量并构建ABC模型。比如某零售企业有500个SKU以及这些SKU对应的销售额，那么哪些SKU是重要的呢，这就是在业务运营中分清主次的问题。

常见的做法是将产品SKU作为维度，并将对应的销售额作为基础度量指标，将这些销售额指标从大到小排列，并计算截止当前产品SKU的销售额累计合计占总销售额的百分比。

百分比在 70%(含)以内，划分为 A 类。

百分比在 70~90%(含)以内，划分为 B 类。

百分比在 90~100%(含)以内，划分为 C 类。

以上百分比也可以根据自己的实际情况调整。

ABC分析模型，不光可以用来划分产品和销售额，还可以划分客户及客户交易额等。比如给企业贡献80%利润的客户是哪些，占比多少。假设有20%，那么在资源有限的情况下，就知道要重点维护这20%类客户。

四、漏斗法

漏斗法即是漏斗图，有点像倒金字塔，是一个流程化的思考方式，常用于像新用户的开发、购物转化率这些有变化和一定流程的分析中。

五、公式法

所谓公式法就是针对某个指标，用公式层层分解该指标的影响因素。

举例：分析某产品的销售额较低的原因，用公式法分解：

①某产品销售额=销售量 X 产品单价

②销售量=渠道A销售量 + 渠道B销售量 + 渠道C销售量 + …

③渠道销售量=点击用户数 X 下单率

④点击用户数=曝光量 X 点击率

第一层：找到产品销售额的影响因素。某产品销售额=销售量 X 产品单价。是销量过低还是价格设置不合理?

第二层：找到销售量的影响因素。分析各渠道销售量，对比以往，是哪些过低了。

第三层：分析影响渠道销售量的因素。渠道销售量=点击用户数X 下单率。是点击用户数低了，还是下单量过低。如果是下单量过低，需要看一下该渠道的广告内容针对的人群和产品实际受众符合度高不高。

第四层：分析影响点击的因素。点击用户数=曝光量X点击率。是曝光量不够还是点击率太低，点击率低需要优化广告创意，曝光量则和投放的渠道有关。

通过对销售额的逐层拆解，细化评估以及分析的粒度。

公式拆解法是针对问题的层级式解析，在拆解时，对因素层层分解，层层剥尽。

1.按时间细分

时间可以细分为不同的跨度，包括年、月、周、日、时、分、秒等等，不同的时间跨度，数据表现可能大不相同。

比如说，按照月度来看，产品的销量可能变化不大，但是如果细分到每一天，可能就有比较剧烈的变化，我们应该找到这些变化的数据，并分析变化背后的原因，而不是让它淹没在整月汇总数据的表象之中。

2.按空间细分

空间主要是指按地域进行划分，包括世界、洲、国家、省份、城市、区等等。

比如说，把全国的 GDP 数据，细分到每一个省份。

空间作为一个相对抽象的概念，也可以代表其他与业务相关的各种事物，比如产品、人员、类别等等，只要有助于理解事物的本质，都可以尝试拿来进行细分。

3.按过程细分

把业务细分为一些具体的过程，往往能够让复杂的问题简单化。

比如说，把订单发货细分为 5 个过程，想办法提升每个过程的效率，从而缩短发货的时间。

再比如，把用户的生命周期，细分为 5 个重要的过程，即：获取、激活、留存、盈利、推荐。

4.按公式细分

有时候一个指标，是可以用公式计算出来的。

比如说，销售额 = 销售数量 * 平均单价，销售数量 = 新客户购买数量 + 老客户购买数量，以此类推。

再比如，在财务分析中，权益净利率 = 资产净利率 * 权益乘数，其中：资产净利率 = 销售净利率 * 资产周转率，以此类推。

5.按模型细分

数据分析的模型有很多，我们可以根据业务的实际情况，选择合适的模型，在此基础上进行细分，得出相应的分析结论。

比如说，按照波士顿矩阵，把企业产品细分为「市场占有率」和「销售增长率」两个维度，然后画一个四象限矩阵图，其中每个象限就代表一类产品，即：明星产品、金牛产品、瘦狗产品和问题产品，对每一类产品，分别建议采取不同的发展策略。

再比如，按照 RFM 模型，把客户按三个维度进行细分，即：最近一次消费时间间隔(Recency)、消费频率(Frequency)和消费金额(Monetary)，从而得到 8 种客户类别，从而有针对性地采取不同的营销策略。