问答详情

分析数据时有哪些注意事项?

1695次观看
标签: 分析数据 分析数据注意事项
老师回答

1、没有明确分析数据的目的

当我们要分析一份数据时,首先要确定好自己的目的,为什么要收集和分析这样一份数据,而只有明确了目的之后,这样才能够了解自己接下来要收集哪些数据,应该怎么收集数据,应该分析哪些数据等。

2、没有合理安排时间

数据分析也要合理安排时间,一般我们有几个步骤,收集数据>>整理数据>>分析数据>>美化表格,在做这些之前,我们要预估一下每一个步骤需要花多少时间,哪一步比较重要,需要花更多的时间等,这些都要在开始收集数据前就计划好,然后在操作的过程中在规定的时间里完成每一个步骤。

3、重收集轻分析

培训里有不少同学就犯了这样的一个错误,做任务的时间为3个星期,却用了两个多星期来收集数据,最后基本没有时间去分析,紧赶慢赶最后交上来一份没有怎么分析的数据。数据分析重点应该在于分析,应该以最快的速度收集完数据,才有更多的时间整理和分析,最后经过分析的数据才是最有价值的。

4、收集数据太多,导致无法整理及分析

在我们开始收集数据的时候,容易犯的一个毛病就是看到什么内容比较符合的就都收集下来,这样的情况是数据越来越多,表格里文档里的内容越来越多,到最后一看,自己都晕了,该怎么整理和分析啊!其实我们在收集数据的时候也要有一个标准,什么样的数据是我们需要的,什么数据是不符合条件的,作一个初步的判断,这样就可以减少后面整理的更多工作量了。

免费直播

    相关推荐
    大数据核心算法有哪些?
    刘老师 数据分析师

    1、A* 搜索算法——图形搜索算法,从给定起点到给定终点计算出路径。其中使用了一种启发式的估算,为每个节点估算通过该节点的最佳路径,并以之为各个地点排定次序。算法以得到的次序访问这些节点。因此,A*搜索算法是最佳优先搜索的范例。

    2、集束搜索(又名定向搜索,Beam Search)——最佳优先搜索算法的优化。使用启发式函数评估它检查的每个节点的能力。不过,集束搜索只能在每个深度中发现最前面的m个最符合条件的节点,m是固定数字——集束的宽度。

    3、二分查找(Binary Search)——在线性数组中找特定值的算法,每个步骤去掉一半不符合要求的数据。

    4、分支界定算法(Branch and Bound)——在多种最优化问题中寻找特定最优化解决方案的算法,特别是针对离散、组合的最优化。

    5、Buchberger算法——一种数学算法,可将其视为针对单变量最大公约数求解的欧几里得算法和线性系统中高斯消元法的泛化。

    6、数据压缩——采取特定编码方案,使用更少的字节数(或是其他信息承载单元)对信息编码的过程,又叫来源编码。

    7、Diffie-Hellman密钥交换算法——一种加密协议,允许双方在事先不了解对方的情况下,在不安全的通信信道中,共同建立共享密钥。该密钥以后可与一个对称密码一起,加密后续通讯。

    8、Dijkstra算法——针对没有负值权重边的有向图,计算其中的单一起点最短算法。

    9、离散微分算法(Discrete differentiation)。

    数据挖掘要解决的问题有哪些?
    刘老师 数据分析师

    1.可伸缩

    由于数据产生和采集技术的进步,数太字节(TB)、数拍字节(PB)甚至数艾字节(EB)的数据集越来越普遍。如果数据挖掘算法要处理这些海量数据集,则算法必须是可伸缩的。许多数据挖掘算法采用特殊的搜索策略来处理指数级的搜索问题。为实现可伸缩可能还需要实现新的数据结构,才能以有效的方式访问每个记录。

    例如,当要处理的数据不能放进内存时,可能需要核外算法。使用抽样技术或开发并行和分布式算法也可以提高可伸缩程度。

    2.高维性

    现在,常常会遇到具有成百上千属性的数据集,而不是几十年前常见的只具有少量属性的数据集。在生物信息学领域,微阵列技术的进步已经产生了涉及数千特征的基因表达数据。具有时间分量或空间分量的数据集也通常具有很高的维度。

    例如,考虑包含不同地区的温度测量结果的数据集,如果在一个相当长的时间周期内反复地测量,则维数(特征数)的增长正比于测量的次数。为低维数据开发的传统数据分析技术通常不能很好地处理这类高维数据,如维灾难问题。此外,对于某些数据分析算法,随着维数(特征数)的增加,计算复杂度会迅速增加。

    3.异构数据和复杂数据

    通常,传统的数据分析方法只处理包含相同类型属性的数据集,或者是连续的,或者是分类的。随着数据挖掘在商务、科学、医学和其他领域的作用越来越大,越来越需要能够处理异构属性的技术。

    近年来,出现了更复杂的数据对象。这种非传统类型的数据如:含有文本、超链接、图像、音频和视频的Web和社交媒体数据,具有序列和三维结构的DNA数据,由地球表面不同位置、不同时间的测量值(温度、压力等)构成的气候数据。

    为挖掘这种复杂对象而开发的技术应当考虑数据中的联系,如时间和空间的自相关性、图的连通性、半结构化文本和XML文档中元素之间的父子关系。

    4.数据的所有权与分布

    有时,需要分析的数据不会只存储在一个站点,或归属于一个机构,而是地理上分布在属于多个机构的数据源中。这就需要开发分布式数据挖掘技术。分布式数据挖掘算法面临的主要挑战包括:

    如何降低执行分布式计算所需的通信量?如何有效地统一从多个数据源获得的数据挖掘结果?如何解决数据安全和隐私问题?

    5.非传统分析

    传统的统计方法基于一种假设检验模式,即提出一种假设,设计实验来收集数据,然后针对假设分析数据。但是,这一过程劳力费神。当前的数据分析任务常常需要产生和评估数千种假设,因此需要自动地产生和评估假设,这促使人们开发了一些数据挖掘技术。

    此外,数据挖掘所分析的数据集通常不是精心设计的实验的结果,并且它们通常代表数据的时机性样本(opportunistic sample),而不是随机样本(random sample)。

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司