(1)优化数据收集

数据收集是最终导致业务决策的事件链中的第一步，确保收集的数据和业务感兴趣的指标的相关性非常重要。

定义对企业有影响的数据类型，以及分析如何增加价值。基本上，考虑客户行为，以及这将对企业的业务有何适用性，然后使用此数据进行分析。

存储和管理数据是数据分析中的重要一步。因此，必须保持数据质量和分析效率。

(2)清除垃圾数据

垃圾数据是大数据分析的祸患。这包括不准确，冗余或不完整的客户信息，可能会对算法造成严重破坏，并导致分析结果不佳。根据垃圾数据做出的决策可能会带来麻烦。

清洁数据至关重要，涉及丢弃不相关的数据，只保留高品质的数据，当前，为了获得完整和相关的数据，人工干预不是理想的模式，不可持续并且受主观影响，因此数据库本身需要被清理。这种类型的数据以各种方式渗透到系统中，其中包括随时间推移而变化，如更改客户信息或数据仓库中存储可能会损坏数据集。垃圾数据可能会对营销和潜在客户生产等行业产生明显的影响，但通过基于故障信息的业务决策，财务和客户关系也会受到不利影响。其后果也是广泛的，包括挪用资源，浪费时间和精力。

解决垃圾数据难题的方法是确保数据进入系统得到干净的控制。具体来说，重复免费，完整和准确的信息。如今，那些具有专门从事反调试技术和清理数据的应用程序和企业，可以对任何对大数据分析感兴趣的公司进行调查。数据清洁是市场营销人员的首要任务，因为数据质量差的连锁效应可能会大大提高企业成本。

为了获得最大的数据量，企业必须花时间确保质量足以准确地查看业务决策和营销策略。

(3)标准化数据集

在大多数商业情况下，数据来自各种来源和各种格式。这些不一致可能转化为错误的分析结果，这将会大大扭曲统计推断结果。为了避免这种可能性，必须决定数据的标准化框架或格式，并严格遵守。

(4)数据整合

大多数企业如今组成不同的自治部门，因此许多企业都有隔离的数据存储库或数据“孤岛”。这是具有挑战性的，因为来自一个部门的客户信息的更改将不会转移到另一个部门，因此他们将根据不准确的源数据进行决策。

为了解决这个问题，采用中央数据管理平台是必要的，整合所有部门，从而确保数据分析的准确性更高，所有部门的任何变化都可以立即访问。

(5)数据隔离

即使数据干净，将其组织和集成在一起，也可能是分析问题。在这种情况下，将数据分成几组是有帮助的，同时牢记分析正在尝试实现什么。这样，可以分析子群体内的趋势，这些趋势可能更有意义并具有更大的价值。当查看可能与整个数据集可能无关的高度具体的趋势和行为时尤其如此。

数据质量对大数据分析至关重要。许多公司试图采用分析软件，但却没有考虑到进入系统做什么。这将导致不准确的推断和解释，可能代价昂贵，并且对企业造成损害。一个定义明确，管理良好的数据库管理平台是使用大数据分析的企业不可或缺的工具。

1.数据、信息和知识是广义数据表现的不同形式。

2.主要知识模式类型有：广义知识，关联知识，类知识，预测型知识，特异型知识

3.web挖掘研究的主要流派有：Web结构挖掘、Web使用挖掘、Web内容挖掘

4.一般地说，KDD是一个多步骤的处理过程，一般分为问题定义、数据抽取、数据预处理、.数据挖掘以及模式评估等基本阶段。

5.数据库中的知识发现处理过程模型有：阶梯处理过程模型，螺旋处理过程模型，以用户为中心的处理结构模型，联机KDD模型，支持多数据源多知识模式的KDD处理模型

6.粗略地说，知识发现软件或工具的发展经历了独立的知识发现软件、横向的知识发现工具集和纵向的知识发现解决方案三个主要阶段，其中后面两种反映了目前知识发现软件的两个主要发展方向。

7.决策树分类模型的建立通常分为两个步骤：决策树生成，决策树修剪。

1、分类

分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到摸个给定的类别中。可以应用到涉及到应用分类、趋势预测中，如淘宝商铺将用户在一段时间内的购买情况划分成不同的类，根据情况向用户推荐关联类的商品，从而增加商铺的销售量。

主要的分类方法：决策树、KNN 法 (K-Nearest Neighbor)、SVM 法、VSM 法、Bayes 法、神经网络等。

2、聚类

聚类指事先并不知道任何样本的类别标号，按照对象的相似性和差异性，把一组对象划分成若干类，并且每个类里面对象之间的相似度较高，不同类里面对象之间相似度较低或差异明显。我们并不关心某一类是什么，我们需要实现的目标只是把相似的东西聚到一起，聚类是一种无监督学习。

聚类的方法(算法)：主要的聚类算法可以划分为如下几类，划分方法、层次方法、基于密度的方法、基于网格的方法、基于模型的方法。每一类中都存在着得到广泛应用的算法， 划分方法中有 k-means 聚类算法、层次方法中有凝聚型层次聚类算法、基于模型方法中有神经网络聚类算法。

3、回归分析

回归分析是一个统计预测模型，用以描述和评估因变量与一个或多个自变量之间的关系;反映的是事务数据库中属性值在时间上的特征，产生一个将数据项映射到一个实值预测变量的函数，发现变量或属性间的依赖关系。

回归分析的应用：回归分析方法被广泛地用于解释市场占有率、销售额、品牌偏好及市场营销效果。它可以应用到市场营销的各个方面，如客户寻求、保持和预防客户流失活动、产品生命周期分析、销售趋势预测及有针对性的促销活动等。

回归分析的主要研究问题：数据序列的趋势特征、数据序列的预测、数据间的相关关系等。

4、关联规则

关联规则是隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其他数据项的出现。关联规则是描述数据库中数据项之间所存在的关系的规则。

5、神经网络方法

神经网络作为一种先进的人工智能技术，因其自身自行处理、分布存储和高度容错等特性非常适合处理非线性的问题，以及那些以模糊、不完整、不严密的知识或数据为特征的问题，它的这一特点十分适合解决数据挖掘的问题。

6、Web数据挖掘

web数据挖掘是一项综合性技术，指Web从文档结构和使用的集合C中发现隐含的模式P，如果将C看做是输入，P 看做是输出，那么Web 挖掘过程就可以看做是从输入到输出的一个映射过程。

7、特征分析

特征分析是从数据库中的一组数据中提取出关于这些数据的特征式，这些特征式表达了该数据集的总体特征。

8、偏差分析

偏差是数据集中的小比例对象。通常，偏差对象被称为离群点、例外、野点等。偏差分析就是发现与大部分其他对象不同的对象。