1.可伸缩

由于数据产生和采集技术的进步，数太字节(TB)、数拍字节(PB)甚至数艾字节(EB)的数据集越来越普遍。如果数据挖掘算法要处理这些海量数据集，则算法必须是可伸缩的。许多数据挖掘算法采用特殊的搜索策略来处理指数级的搜索问题。为实现可伸缩可能还需要实现新的数据结构，才能以有效的方式访问每个记录。

例如，当要处理的数据不能放进内存时，可能需要核外算法。使用抽样技术或开发并行和分布式算法也可以提高可伸缩程度。

2.高维性

现在，常常会遇到具有成百上千属性的数据集，而不是几十年前常见的只具有少量属性的数据集。在生物信息学领域，微阵列技术的进步已经产生了涉及数千特征的基因表达数据。具有时间分量或空间分量的数据集也通常具有很高的维度。

例如，考虑包含不同地区的温度测量结果的数据集，如果在一个相当长的时间周期内反复地测量，则维数(特征数)的增长正比于测量的次数。为低维数据开发的传统数据分析技术通常不能很好地处理这类高维数据，如维灾难问题。此外，对于某些数据分析算法，随着维数(特征数)的增加，计算复杂度会迅速增加。

3.异构数据和复杂数据

通常，传统的数据分析方法只处理包含相同类型属性的数据集，或者是连续的，或者是分类的。随着数据挖掘在商务、科学、医学和其他领域的作用越来越大，越来越需要能够处理异构属性的技术。

近年来，出现了更复杂的数据对象。这种非传统类型的数据如：含有文本、超链接、图像、音频和视频的Web和社交媒体数据，具有序列和三维结构的DNA数据，由地球表面不同位置、不同时间的测量值(温度、压力等)构成的气候数据。

为挖掘这种复杂对象而开发的技术应当考虑数据中的联系，如时间和空间的自相关性、图的连通性、半结构化文本和XML文档中元素之间的父子关系。

4.数据的所有权与分布

有时，需要分析的数据不会只存储在一个站点，或归属于一个机构，而是地理上分布在属于多个机构的数据源中。这就需要开发分布式数据挖掘技术。分布式数据挖掘算法面临的主要挑战包括：

如何降低执行分布式计算所需的通信量?如何有效地统一从多个数据源获得的数据挖掘结果?如何解决数据安全和隐私问题?

5.非传统分析

传统的统计方法基于一种假设检验模式，即提出一种假设，设计实验来收集数据，然后针对假设分析数据。但是，这一过程劳力费神。当前的数据分析任务常常需要产生和评估数千种假设，因此需要自动地产生和评估假设，这促使人们开发了一些数据挖掘技术。

此外，数据挖掘所分析的数据集通常不是精心设计的实验的结果，并且它们通常代表数据的时机性样本(opportunistic sample)，而不是随机样本(random sample)。

数据治理是流程、角色、政策、标准和指标的集合，可确保有效和高效地使用信息，使企业能够实现其目标。它建立了流程和职责，以确保整个企业或企业中使用的数据质量和安全性。数据治理定义了谁可以对什么数据、在什么情况下、使用什么方法采取什么行动。

一、对比法

对比法就是用两组或两组以上的数据进行比较，是最通用的方法。

我们知道孤立的数据没有意义，有对比才有差异。一些直接描述事物的变量，如长度、数量、高度、宽度等。通过对比得到比率数据，增速、效率、效益等指标，这才是数据分析时常用的。

比如用于在时间维度上的同比和环比、增长率、定基比，与竞争对手的对比、类别之间的对比、特征和属性对比等。对比法可以发现数据变化规律，使用频繁，经常和其他方法搭配使用。

二、象限法

通过对两种及以上维度的划分，运用坐标的方式表达出想要的价值。由价值直接转变为策略，从而进行一些落地的推动。象限法是一种策略驱动的思维，常于产品分析、市场分析、客户管理、商品管理等。

三、二八法/帕累托分析

二八法也可以叫帕累托法则，源于经典的二八法则。比如在个人财富上可以说世界上20%的人掌握着80%的财富。而在数据分析中，则可以理解为20%的数据产生了80%的效果需要围绕这20%的数据进行挖掘。往往在使用二八法则的时候和排名有关系，排在前20%的才算是有效数据。二八法是抓重点分析，适用于任何行业。找到重点，发现其特征，然后可以思考如何让其余的80%向这20%转化，提高效果。

一般地，会用在产品分类上，去测量并构建ABC模型。比如某零售企业有500个SKU以及这些SKU对应的销售额，那么哪些SKU是重要的呢，这就是在业务运营中分清主次的问题。

常见的做法是将产品SKU作为维度，并将对应的销售额作为基础度量指标，将这些销售额指标从大到小排列，并计算截止当前产品SKU的销售额累计合计占总销售额的百分比。

百分比在 70%(含)以内，划分为 A 类。

百分比在 70~90%(含)以内，划分为 B 类。

百分比在 90~100%(含)以内，划分为 C 类。

以上百分比也可以根据自己的实际情况调整。

ABC分析模型，不光可以用来划分产品和销售额，还可以划分客户及客户交易额等。比如给企业贡献80%利润的客户是哪些，占比多少。假设有20%，那么在资源有限的情况下，就知道要重点维护这20%类客户。

四、漏斗法

漏斗法即是漏斗图，有点像倒金字塔，是一个流程化的思考方式，常用于像新用户的开发、购物转化率这些有变化和一定流程的分析中。

五、公式法

所谓公式法就是针对某个指标，用公式层层分解该指标的影响因素。

举例：分析某产品的销售额较低的原因，用公式法分解：

①某产品销售额=销售量 X 产品单价

②销售量=渠道A销售量 + 渠道B销售量 + 渠道C销售量 + …

③渠道销售量=点击用户数 X 下单率

④点击用户数=曝光量 X 点击率

第一层：找到产品销售额的影响因素。某产品销售额=销售量 X 产品单价。是销量过低还是价格设置不合理?

第二层：找到销售量的影响因素。分析各渠道销售量，对比以往，是哪些过低了。

第三层：分析影响渠道销售量的因素。渠道销售量=点击用户数X 下单率。是点击用户数低了，还是下单量过低。如果是下单量过低，需要看一下该渠道的广告内容针对的人群和产品实际受众符合度高不高。

第四层：分析影响点击的因素。点击用户数=曝光量X点击率。是曝光量不够还是点击率太低，点击率低需要优化广告创意，曝光量则和投放的渠道有关。

通过对销售额的逐层拆解，细化评估以及分析的粒度。

公式拆解法是针对问题的层级式解析，在拆解时，对因素层层分解，层层剥尽。