1、数据分析需要大量投资

如今，似乎对每一项新技术的投入都必须通过严格的财务支出的筛选过程。“它需要多少费用?”——是IT和业务经理在提议启动项目或部署新工具时需要首先考虑的问题之一。

有些人认为数据分析本质上是一项代价高昂的工作，因此仅限于拥有大量预算或大量内部资源的企业机构。但是事实并非如此，现在市场上有很多开源工具和其他工具能够帮助展示数据分析的价值;并且基于云系统的大数据架构，也会比传统的数据仓库便宜得多。你只需要明确内部数据存储以及要解决的问题，就可以轻松的在云上使用分析来解决业务问题。

此外，数据分析通常用于实现三个结果：提高流程效率、实现收入增长和主动进行风险管理，总的来说，数据分析在任何公司的应用中都带来了巨大的成本效益。

2、你需要“大数据”才能执行分析

对于许多人来说，大数据和分析的概念是相辅相成的，企业需要在执行分析之前收集大量数据，以便生成业务洞察，改进决策制定等。

当然，大数据分析的优势也很明确，拥有这些资源的公司利用大数据存储作为促进分析工作的一部分，获得了显着的竞争优势。但是大数据却并不是分析必不可少的搭配。

分析师需要特定的数据，而不是更多的数据。要想更好地支持决策和提高绩效，企业必须更多的考虑业务用户，确定他们需要访问哪些数据，如何呈现数据，而不是关注更多的数据。95%以上的用户会寻找和他们工作相关的信息来支持他们进行决策，来提高业务表现，所以企业需要以最简单的格式向他们提供这些信息，帮助他们快速定位重要信息。

3、分析消除了人类的偏见

自动化系统执行的方式不应该存在偏见，但技术是由人类建立的，因此消除所有偏见几乎是不可能的。

有些人认为分析和机器学习消除了人类的偏见，不幸的是，这并没有实现。算法和分析使用“训练数据”进行调整，并将重现“训练数据”所具有的任何特征，在某些情况下，这会在分析过程中引入良性偏见，但也有可能带来更严重的偏见——因为“算法这么说”并不意味着答案是公平的或者有用的。

4、最好的算法意味着绝对的胜利

事实证明，有了足够的数据，有时算法无关紧要。谷歌的工程师认为，数据有着不合理有效性 ，简单的统计模型，加上极大量的数据，比包含大量特征和总结的“智能优越模型”能输出更优质的结果。

因此，在某些情况下，只需处理更大量的数据就可以获得最佳效果。

5、算法是安全的

人们固执地信任统计模型和算法，并且随着分析程序的组织构建，他们会越来越依赖复杂的模型来支持决策。这或许是因为用户并不觉得他们有能力挑战模型，因此他们必须相信构建它们的“聪明人”。

比如，在过去的50到60年里，我们反复听到“人工智能将在20年内接管人类工作”的言论，现在也还是有人反复强调这种观点。在我们可以完全信任机器学习和它们输出的结果之前，还有很多事情要做。在那之前，我们需要挑战构建算法和模型的人，让他们解释如何得到答案。这并不是说我们不能依赖于结果，而是说我们需要透明度，这样我们才可以信任和验证分析结果。

1.可伸缩

由于数据产生和采集技术的进步，数太字节(TB)、数拍字节(PB)甚至数艾字节(EB)的数据集越来越普遍。如果数据挖掘算法要处理这些海量数据集，则算法必须是可伸缩的。许多数据挖掘算法采用特殊的搜索策略来处理指数级的搜索问题。为实现可伸缩可能还需要实现新的数据结构，才能以有效的方式访问每个记录。

例如，当要处理的数据不能放进内存时，可能需要核外算法。使用抽样技术或开发并行和分布式算法也可以提高可伸缩程度。

2.高维性

现在，常常会遇到具有成百上千属性的数据集，而不是几十年前常见的只具有少量属性的数据集。在生物信息学领域，微阵列技术的进步已经产生了涉及数千特征的基因表达数据。具有时间分量或空间分量的数据集也通常具有很高的维度。

例如，考虑包含不同地区的温度测量结果的数据集，如果在一个相当长的时间周期内反复地测量，则维数(特征数)的增长正比于测量的次数。为低维数据开发的传统数据分析技术通常不能很好地处理这类高维数据，如维灾难问题。此外，对于某些数据分析算法，随着维数(特征数)的增加，计算复杂度会迅速增加。

3.异构数据和复杂数据

通常，传统的数据分析方法只处理包含相同类型属性的数据集，或者是连续的，或者是分类的。随着数据挖掘在商务、科学、医学和其他领域的作用越来越大，越来越需要能够处理异构属性的技术。

近年来，出现了更复杂的数据对象。这种非传统类型的数据如：含有文本、超链接、图像、音频和视频的Web和社交媒体数据，具有序列和三维结构的DNA数据，由地球表面不同位置、不同时间的测量值(温度、压力等)构成的气候数据。

为挖掘这种复杂对象而开发的技术应当考虑数据中的联系，如时间和空间的自相关性、图的连通性、半结构化文本和XML文档中元素之间的父子关系。

4.数据的所有权与分布

有时，需要分析的数据不会只存储在一个站点，或归属于一个机构，而是地理上分布在属于多个机构的数据源中。这就需要开发分布式数据挖掘技术。分布式数据挖掘算法面临的主要挑战包括：

如何降低执行分布式计算所需的通信量?如何有效地统一从多个数据源获得的数据挖掘结果?如何解决数据安全和隐私问题?

5.非传统分析

传统的统计方法基于一种假设检验模式，即提出一种假设，设计实验来收集数据，然后针对假设分析数据。但是，这一过程劳力费神。当前的数据分析任务常常需要产生和评估数千种假设，因此需要自动地产生和评估假设，这促使人们开发了一些数据挖掘技术。

此外，数据挖掘所分析的数据集通常不是精心设计的实验的结果，并且它们通常代表数据的时机性样本(opportunistic sample)，而不是随机样本(random sample)。

1、数据清理

数据清理(data cleaning) 的主要思想是通过填补缺失值、光滑噪声数据，平滑或删除离群点，并解决数据的不一致性来“清理“数据。如果用户认为数据时脏乱的，他们不太会相信基于这些数据的挖掘结果，即输出的结果是不可靠的。

2、数据集成

数据分析任务多半涉及数据集成。数据集成将多个数据源中的数据结合成、存放在一个一致的数据存储，如数据仓库中。这些源可能包括多个数据库、数据方或一般文件。

3、数据规约

数据归约技术可以用来得到数据集的归约表示，它小得多，但仍接近地保持原数据的完整性。 这样，在归约后的数据集上挖掘将更有效，并产生相同(或几乎相同)的分析结果。

4、数据变换

数据变换包括对数据进行规范化，离散化，稀疏化处理，达到适用于挖掘的目的。