问答详情

数据分析师主要工作做什么?

2544次观看
标签: 数据分析师 数据分析师主要工作
老师回答

1、数据采集

数据采集的意义在于真正了解数据的原始相貌,包含数据发生的时间、条件、格局、内容、长度、约束条件等。这会帮助大数据分析师更有针对性的控制数据生产和采集过程,避免因为违反数据采集规矩导致的数据问题;一起,对数据采集逻辑的知道增加了数据分析师对数据的了解程度,尤其是数据中的反常变化。

2、数据存取

数据存取分为存储和提取两个部分。数据存储,大数据分析师需求了解数据存储内部的作业机制和流程,最核心在于,知道原始数据基础上需求经过哪些加工处理,最终得到了怎样的数据。

3、数据提取

大数据分析师首先需求具有数据提取才能。第一层是从单张数据库中按条件提取数据的才能;第二层是把握跨库表提取数据的才能;第三层是优化SQL句子,经过优化嵌套、挑选的逻辑层次和遍历次数等,减少个人时间糟蹋和系统资源消耗。

4、数据发掘

在这个阶段,大数据分析师要把握,一是数据发掘、统计学、数学基本原理和知识;二是熟练运用一门数据发掘东西,Python或R都是可选项;三是需求了解常用的数据发掘算法以及每种算法的使用场景和优劣差异点。

5、数据分析

数据分析相关于数据发掘而言,更多的是偏向业务使用和解读,当数据发掘算法得出结论后,怎么解说算法在结果、可信度、明显程度等方面关于业务的实践意义。

6、数据可视化

这部分,大数据分析师除遵循各公司统一标准原则外,具体形式还要根据实践需求和场景而定。数据可视化永久辅助于数据内容,有价值的数据报告才是关键。

免费直播

    相关推荐
    数据挖掘常用的方法有哪些?
    刘老师 数据分析师

    1、分类

    分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类,其目的是通过分类模型,将数据库中的数据项映射到摸个给定的类别中。可以应用到涉及到应用分类、趋势预测中,如淘宝商铺将用户在一段时间内的购买情况划分成不同的类,根据情况向用户推荐关联类的商品,从而增加商铺的销售量。

    主要的分类方法:决策树、KNN 法 (K-Nearest Neighbor)、SVM 法、VSM 法、Bayes 法、神经网络等。

    2、聚类

    聚类指事先并不知道任何样本的类别标号,按照对象的相似性和差异性,把一组对象划分成若干类,并且每个类里面对象之间的相似度较高,不同类里面对象之间相似度较低或差异明显。我们并不关心某一类是什么,我们需要实现的目标只是把相似的东西聚到一起,聚类是一种无监督学习。

    聚类的方法(算法):主要的聚类算法可以划分为如下几类,划分方法、层次方法、基于密度的方法、基于网格的方法、基于模型的方法。每一类中都存在着得到广泛应用的算法, 划分方法中有 k-means 聚类算法、层次方法中有凝聚型层次聚类算法、基于模型方法中有神经网络聚类算法。

    3、回归分析

    回归分析是一个统计预测模型,用以描述和评估因变量与一个或多个自变量之间的关系;反映的是事务数据库中属性值在时间上的特征,产生一个将数据项映射到一个实值预测变量的函数,发现变量或属性间的依赖关系。

    回归分析的应用:回归分析方法被广泛地用于解释市场占有率、销售额、品牌偏好及市场营销效果。它可以应用到市场营销的各个方面,如客户寻求、保持和预防客户流失活动、产品生命周期分析、销售趋势预测及有针对性的促销活动等。

    回归分析的主要研究问题:数据序列的趋势特征、数据序列的预测、数据间的相关关系等。

    4、关联规则

    关联规则是隐藏在数据项之间的关联或相互关系,即可以根据一个数据项的出现推导出其他数据项的出现。关联规则是描述数据库中数据项之间所存在的关系的规则。

    5、神经网络方法

    神经网络作为一种先进的人工智能技术,因其自身自行处理、分布存储和高度容错等特性非常适合处理非线性的问题,以及那些以模糊、不完整、不严密的知识或数据为特征的问题,它的这一特点十分适合解决数据挖掘的问题。

    6、Web数据挖掘

    web数据挖掘是一项综合性技术,指Web从文档结构和使用的集合C中发现隐含的模式P,如果将C看做是输入,P 看做是输出,那么Web 挖掘过程就可以看做是从输入到输出的一个映射过程。

    7、特征分析

    特征分析是从数据库中的一组数据中提取出关于这些数据的特征式,这些特征式表达了该数据集的总体特征。

    8、偏差分析

    偏差是数据集中的小比例对象。通常,偏差对象被称为离群点、例外、野点等。偏差分析就是发现与大部分其他对象不同的对象。

    最常用的四种大数据分析方法有哪些?
    刘老师 数据分析师

    1.描述型分析:发生了什么?

    这是最常见的分析方法。在业务中,这种方法向数据分析师提供了重要指标和业务的衡量方法。

    例如,每月的营收和损失账单。数据分析师可以通过这些账单,获取大量的客户数据。了解客户的地理信息,就是“描述型分析”方法之一。利用可视化工具,能够有效的增强描述型分析所提供的信息。

    2.诊断型分析:为什么会发生?

    描述性数据分析的下一步就是诊断型数据分析。通过评估描述型数据,诊断分析工具能够让数据分析师深入地分析数据,钻取到数据的核心。

    良好设计的BI dashboard能够整合:按照时间序列进行数据读入、特征过滤和钻取数据等功能,以便更好的分析数据。

    3.预测型分析:可能发生什么?

    预测型分析主要用于进行预测。事件未来发生的可能性、预测一个可量化的值,或者是预估事情发生的时间点,这些都可以通过预测模型来完成。

    预测模型通常会使用各种可变数据来实现预测。数据成员的多样化与预测结果密切相关。

    在充满不确定性的环境下,预测能够帮助做出更好的决定。预测模型也是很多领域正在使用的重要方法。

    4.指令型分析:需要做什么?

    数据价值和复杂度分析的下一步就是指令型分析。指令模型基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析,来帮助用户决定应该采取什么措施。通常情况下,指令型分析不是单独使用的方法,而是前面的所有方法都完成之后,最后需要完成的分析方法。

    例如,交通规划分析考量了每条路线的距离、每条线路的行驶速度、以及目前的交通管制等方面因素,来帮助选择最好的回家路线。

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司