清洁数据至关重要，涉及丢弃不相关的数据，只保留高品质的数据，当前，为了获得完整和相关的数据，人工干预不是理想的模式，不可持续并且受主观影响，因此数据库本身需要被清理。这种类型的数据以各种方式渗透到系统中，其中包括随时间推移而变化，如更改客户信息或数据仓库中存储可能会损坏数据集。垃圾数据可能会对营销和潜在客户生产等行业产生明显的影响，但通过基于故障信息的业务决策，财务和客户关系也会受到不利影响。其后果也是广泛的，包括挪用资源，浪费时间和精力。

解决垃圾数据难题的方法是确保数据进入系统得到干净的控制。具体来说，重复免费，完整和准确的信息。如今，那些具有专门从事反调试技术和清理数据的应用程序和企业，可以对任何对大数据分析感兴趣的公司进行调查。数据清洁是市场营销人员的首要任务，因为数据质量差的连锁效应可能会大大提高企业成本。

为了获得最大的数据量，企业必须花时间确保质量足以准确地查看业务决策和营销策略。

(3)标准化数据集

在大多数商业情况下，数据来自各种来源和各种格式。这些不一致可能转化为错误的分析结果，这将会大大扭曲统计推断结果。为了避免这种可能性，必须决定数据的标准化框架或格式，并严格遵守。

(4)数据整合

大多数企业如今组成不同的自治部门，因此许多企业都有隔离的数据存储库或数据“孤岛”。这是具有挑战性的，因为来自一个部门的客户信息的更改将不会转移到另一个部门，因此他们将根据不准确的源数据进行决策。

为了解决这个问题，采用中央数据管理平台是必要的，整合所有部门，从而确保数据分析的准确性更高，所有部门的任何变化都可以立即访问。

(5)数据隔离

即使数据干净，将其组织和集成在一起，也可能是分析问题。在这种情况下，将数据分成几组是有帮助的，同时牢记分析正在尝试实现什么。这样，可以分析子群体内的趋势，这些趋势可能更有意义并具有更大的价值。当查看可能与整个数据集可能无关的高度具体的趋势和行为时尤其如此。

数据质量对大数据分析至关重要。许多公司试图采用分析软件，但却没有考虑到进入系统做什么。这将导致不准确的推断和解释，可能代价昂贵，并且对企业造成损害。一个定义明确，管理良好的数据库管理平台是使用大数据分析的企业不可或缺的工具。

数据挖掘中实用分析方法有哪些?

刘老师数据分析师

1.基于历史的MBR分析

基于历史(Memory-Based Reasoning)的MBR分析方法最主要的概念是用已知的案例(case)来预测未来案例的一些属性(attribute)，通常找寻最相似的案例来做比较。

MBR中有两个主要的要素，分别为距离函数(distance function)与结合函数(combination function)。距离函数的用意在找出最相似的案例;结合函数则将相似案例的属性结合起来，以供预测之用。

MBR的优点是它容许各种型态的数据，这些数据不需服从某些假设。另一个优点是其具备学习能力，它能藉由旧案例的学习来获取关于新案例的知识。较令人诟病的是它需要大量的历史数据，有足够的历史数据方能做良好的预测。此外记忆基础推理法在处理上亦较为费时，不易发现最佳的距离函数与结合函数。其可应用的范围包括欺骗行为的侦测、客户反应预测、医学诊疗、反应的归类等方面。

2.购物篮分析

购物篮分析(Market Basket Analysis)最主要的目的在于找出什么样的东西应该放在一起商业上的应用在藉由顾客的购买行为来了解是什么样的顾客以及这些顾客为什么买这些产品，找出相关的联想(association)规则，企业藉由这些规则的挖掘获得利益与建立竞争优势。举例来说，零售店可藉由此分析改变置物架上的商品排列或是设计吸引客户的商业套餐等等。

购物篮分析基本运作过程包含下列三点：

选择正确的品项：这里所指的正确乃是针对企业体而言，必须要在数以百计、千计品项中选择出真正有用的品项出来。

经由对共同发生矩阵(co-occurrence matrix)的探讨挖掘出联想规则。

克服实际上的限制：所选择的品项愈多，计算所耗费的资源与时间愈久(呈现指数递增)，此时必须运用一些技术以降低资源与时间的损耗。

购物篮分析技术可以应用在下列问题上：针对信用卡购物，能够预测未来顾客可能购买什么。对于电信与金融服务业而言，经由购物篮分析能够设计不同的服务组合以扩大利润。保险业能藉由购物篮分析侦测出可能不寻常的投保组合并作预防。对病人而言，在疗程的组合上，购物篮分析能作为是否这些疗程组合会导致并发症的判断依据。

3.决策树

决策树(Decision Trees)在解决归类与预测上有着极强的能力，它以法则的方式表达，而这些法则则以一连串的问题表示出来，经由不断询问问题最终能导出所需的结果。典型的决策树顶端是一个树根，底部有许多的树叶，它将纪录分解成不同的子集，每个子集中的字段可能都包含一个简单的法则。此外，决策树可能有着不同的外型，例如二元树、三元树或混和的决策树型态。

4.遗传算法

遗传算法(Genetic Algorithm)学习细胞演化的过程，细胞间可经由不断的选择、复制、交配、突变产生更佳的新细胞。基因算法的运作方式也很类似，它必须预先建立好一个模式，再经由一连串类似产生新细胞过程的运作，利用适合函数(fitness function)决定所产生的后代是否与这个模式吻合，最后仅有最吻合的结果能够存活，这个程序一直运作直到此函数收敛到最佳解。基因算法在群集 (cluster)问题上有不错的表现，一般可用来辅助记忆基础推理法与类神经网络的应用。

5.聚类分析

聚类分析(Cluster Detection)这个技术涵盖范围相当广泛，包含基因算法、类神经网络、统计学中的群集分析都有这个功能。它的目标为找出数据中以前未知的相似群体，在许许多多的分析中，刚开始都运用到群集侦测技术，以作为研究的开端。

数据挖掘人员工作领域可分为几类?

刘老师数据分析师

(1)数据分析师：在拥有行业数据的电商、金融、电信、咨询等行业里做业务咨询，商务智能，出分析报告。

(2)数据挖掘工程师：在多媒体、电商、搜索、社交等大数据相关行业里做机器学习算法实现和分析。

(3)科学研究方向：在高校、科研单位、企业研究院等高大上科研机构研究新算法效率改进及未来应用。