1.可伸缩

由于数据产生和采集技术的进步，数太字节(TB)、数拍字节(PB)甚至数艾字节(EB)的数据集越来越普遍。如果数据挖掘算法要处理这些海量数据集，则算法必须是可伸缩的。许多数据挖掘算法采用特殊的搜索策略来处理指数级的搜索问题。为实现可伸缩可能还需要实现新的数据结构，才能以有效的方式访问每个记录。

例如，当要处理的数据不能放进内存时，可能需要核外算法。使用抽样技术或开发并行和分布式算法也可以提高可伸缩程度。

2.高维性

现在，常常会遇到具有成百上千属性的数据集，而不是几十年前常见的只具有少量属性的数据集。在生物信息学领域，微阵列技术的进步已经产生了涉及数千特征的基因表达数据。具有时间分量或空间分量的数据集也通常具有很高的维度。

例如，考虑包含不同地区的温度测量结果的数据集，如果在一个相当长的时间周期内反复地测量，则维数(特征数)的增长正比于测量的次数。为低维数据开发的传统数据分析技术通常不能很好地处理这类高维数据，如维灾难问题。此外，对于某些数据分析算法，随着维数(特征数)的增加，计算复杂度会迅速增加。

3.异构数据和复杂数据

通常，传统的数据分析方法只处理包含相同类型属性的数据集，或者是连续的，或者是分类的。随着数据挖掘在商务、科学、医学和其他领域的作用越来越大，越来越需要能够处理异构属性的技术。

近年来，出现了更复杂的数据对象。这种非传统类型的数据如：含有文本、超链接、图像、音频和视频的Web和社交媒体数据，具有序列和三维结构的DNA数据，由地球表面不同位置、不同时间的测量值(温度、压力等)构成的气候数据。

为挖掘这种复杂对象而开发的技术应当考虑数据中的联系，如时间和空间的自相关性、图的连通性、半结构化文本和XML文档中元素之间的父子关系。

4.数据的所有权与分布

有时，需要分析的数据不会只存储在一个站点，或归属于一个机构，而是地理上分布在属于多个机构的数据源中。这就需要开发分布式数据挖掘技术。分布式数据挖掘算法面临的主要挑战包括：

如何降低执行分布式计算所需的通信量?如何有效地统一从多个数据源获得的数据挖掘结果?如何解决数据安全和隐私问题?

5.非传统分析

传统的统计方法基于一种假设检验模式，即提出一种假设，设计实验来收集数据，然后针对假设分析数据。但是，这一过程劳力费神。当前的数据分析任务常常需要产生和评估数千种假设，因此需要自动地产生和评估假设，这促使人们开发了一些数据挖掘技术。

此外，数据挖掘所分析的数据集通常不是精心设计的实验的结果，并且它们通常代表数据的时机性样本(opportunistic sample)，而不是随机样本(random sample)。

1、态度严谨负责

严谨负责是数据分析师的必备素质之一，只有奔着严谨负责的态度，才能保证数据的客观、准确。在企业里，数据分析师可以说是企业的医生，他们通过对企业运营数据的分析，为企业寻找症结的问题。

2、好奇心强烈

好奇心热皆有之，但是作为数据分析师，这份好奇心就应该更加强烈，要积极主动地发现挖掘隐藏在数据内部的真相。在数据分析师的脑子里，应该充满着无数个“为什么”，为什么是这样的结果，为什么不是那样的结果，导致这个结果的原因是什么，为什么结果是不预期的那样等等，这一系列问题都要在进行分析时提出来，并且通过通过数据分析给自己一个满意的答案。

3、逻辑思维清晰

除了一颗探索真相的好奇心，数据分析师还需要具备缜密的思维和清晰的逻辑推理能力。

通常从事数据分析时所面对的商业问题较为复杂，要考虑错综复杂的成因，分析所面对的各种复杂的环境因素，并在若干发展可能性中选择一个最优的方向。这就需要数据分析师对事实的足够了解，同时也是需要真正理清问题的整体以及局部的结构进而理清结构中相互的逻辑关系。

4、擅长模仿

在做数据分析时，有自己的想法固然重要，但是“前车之鉴”也是非常有必要学习的，它能帮助数据分析师迅速的成长，因此，模仿是快速提高学习成果的有效方法。模仿主要是参考他人优秀的思路和方法，成功的模仿需要领会他人方法的精髓，理解其成分析原理。

5、勇于创新

通过模仿可以借鉴他人的成功经验，但模仿时间不宜太长，每次模仿后都要进行总结，提升可以改进的地方，甚至要有所创新。创新是一个优秀数据分析师应具备的精神，只有不断创新，才能提高自己的分析水平。

(1)优化数据收集

数据收集是最终导致业务决策的事件链中的第一步，确保收集的数据和业务感兴趣的指标的相关性非常重要。

定义对企业有影响的数据类型，以及分析如何增加价值。基本上，考虑客户行为，以及这将对企业的业务有何适用性，然后使用此数据进行分析。

存储和管理数据是数据分析中的重要一步。因此，必须保持数据质量和分析效率。

(2)清除垃圾数据

垃圾数据是大数据分析的祸患。这包括不准确，冗余或不完整的客户信息，可能会对算法造成严重破坏，并导致分析结果不佳。根据垃圾数据做出的决策可能会带来麻烦。

清洁数据至关重要，涉及丢弃不相关的数据，只保留高品质的数据，当前，为了获得完整和相关的数据，人工干预不是理想的模式，不可持续并且受主观影响，因此数据库本身需要被清理。这种类型的数据以各种方式渗透到系统中，其中包括随时间推移而变化，如更改客户信息或数据仓库中存储可能会损坏数据集。垃圾数据可能会对营销和潜在客户生产等行业产生明显的影响，但通过基于故障信息的业务决策，财务和客户关系也会受到不利影响。其后果也是广泛的，包括挪用资源，浪费时间和精力。

解决垃圾数据难题的方法是确保数据进入系统得到干净的控制。具体来说，重复免费，完整和准确的信息。如今，那些具有专门从事反调试技术和清理数据的应用程序和企业，可以对任何对大数据分析感兴趣的公司进行调查。数据清洁是市场营销人员的首要任务，因为数据质量差的连锁效应可能会大大提高企业成本。

为了获得最大的数据量，企业必须花时间确保质量足以准确地查看业务决策和营销策略。

(3)标准化数据集

在大多数商业情况下，数据来自各种来源和各种格式。这些不一致可能转化为错误的分析结果，这将会大大扭曲统计推断结果。为了避免这种可能性，必须决定数据的标准化框架或格式，并严格遵守。

(4)数据整合

大多数企业如今组成不同的自治部门，因此许多企业都有隔离的数据存储库或数据“孤岛”。这是具有挑战性的，因为来自一个部门的客户信息的更改将不会转移到另一个部门，因此他们将根据不准确的源数据进行决策。

为了解决这个问题，采用中央数据管理平台是必要的，整合所有部门，从而确保数据分析的准确性更高，所有部门的任何变化都可以立即访问。

(5)数据隔离

即使数据干净，将其组织和集成在一起，也可能是分析问题。在这种情况下，将数据分成几组是有帮助的，同时牢记分析正在尝试实现什么。这样，可以分析子群体内的趋势，这些趋势可能更有意义并具有更大的价值。当查看可能与整个数据集可能无关的高度具体的趋势和行为时尤其如此。

数据质量对大数据分析至关重要。许多公司试图采用分析软件，但却没有考虑到进入系统做什么。这将导致不准确的推断和解释，可能代价昂贵，并且对企业造成损害。一个定义明确，管理良好的数据库管理平台是使用大数据分析的企业不可或缺的工具。