问答详情

一个大数据工程师到底应该会什么?

794次观看
标签: 大数据工程师 大数据工程师会什么
老师回答

1、首先要学习Java基础

Java是大数据学习需要的编程语言基础,因为大数据的开发基于常用的高级语言。

2、大数据核心知识

Hadoop生态系统;HDFS技术;HBASE技术;Sqoop使用流程;数据仓库工具HIVE;大数据离线分析Spark、Python语言;数据实时分析Storm;消息订阅分发系统Kafka等。

3、大数据需要具备的能力

数学知识,数学知识是数据分析师的基础知识。对于数据分析师,了解一些描述统计相关的内容,需要有一定公式计算能力,了解常用统计模型算法。而对于数据挖掘工程师来说,各类算法也需要熟练使用,对数学的要求是最高的。

4、大数据可以应用的领域

大数据技术可以应用在各个领域,比如公安大数据、交通大数据、医疗大数据、就业大数据、环境大数据、图像大数据、视频大数据等等,应用范围非常广泛。

免费直播

    精选课程
    相关推荐
    大数据与数据分析师有哪些区别?
    宋老师 大数据工程师

    首先,大数据分析师是大数据时代背景下产生的一种新型技术岗位,与传统数据分析师的区别主要体现在三个方面,其一是技术体系结构不同;其二是岗位任务目的存在一定的区别;其三是工作场景具有一定的区别。

    ​对于大数据分析师来说,要具备更加全面的知识结构,涉及到大数据平台知识、算法设计知识、程序设计知识和具体的行业知识等,所以相对于传统的数据分析师来说,大数据分析师的从业门槛有了一定程度的提升。从目前行业领域的人才招聘情况来看,大数据分析岗位往往需要具有较高的学历要求,研究生往往更愿意从事相关岗位。

    大数据分析的目的与传统的数据分析目的也存在一定的区别,主要体现在两个方面,其一是大数据分析比较注重数据的价值化,简单的说,大数据分析的结果会提升数据的价值,而传统数据分析的目的往往是以应用为导向的。另一个区别在于,大数据分析的结果往往是为了提供给智能体使用,比如人工智能领域的算法训练、验证等过程都需要大数据分析的参与。

    在工作场景上,大数据分析与传统的数据分析也存在一定的区别,大数据分析往往需要借助于大数据平台进行,比如Hadoop、Spark,以及各种商用的大数据平台等,但是传统的数据分析往往会基于Excel或者是传统数据库进行。相对于传统数据分析工具来说,大数据分析的工具往往更加丰富,复杂程度也有明显的提升。

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司