问答详情

成为大数据工程师要学习哪些知识?

866次观看
标签: 大数据工程师 大数据工程师知识
老师回答

1.大数据架构的工具与组件

数据工程师更关注分析基础架构,因此所需的大部分技能都是以架构为中心的。

2.深入了解SQL和其它数据库解决方案

数据工程师需要对数据库管理系统有比较熟悉的了解,而且深入了解SQL非常重要。同样其它数据库解决方案,例如Cassandra或BigTable也须熟悉,因为不是每个数据库都是由可识别的标准来构建。

3.数据仓库和ETL工具

数据仓库和ETL经验对于数据工程师至关重要。像Redshift或Panoply这样的数据仓库解决方案,以及ETL工具,比如StitchData或Segment都非常有用。另外,数据存储和数据检索经验同样重要,因为处理的数据量是个天文数字。

4.基于Hadoop的分析(HBase,Hive,MapReduce等)

对基于Apache Hadoop的分析有深刻理解是这个领域的一个非常必要的需求,一般情况下HBase,Hive和MapReduce的知识存储是必需的。

5.编码

说到解决方案,编码与开发能力是一个重要的优点(这也是许多职位的要求),你要熟悉Python,C/C++,Java,Perl,Golang或其它语言,这会非常有价值。

6.机器学习

虽然数据工程师主要关注的是数据科学,但对数据处理技术的理解会加分,比如一些统计分析知识和基础数据建模。

免费直播

    精选课程
    相关推荐
    大数据与数据分析师有哪些区别?
    宋老师 大数据工程师

    首先,大数据分析师是大数据时代背景下产生的一种新型技术岗位,与传统数据分析师的区别主要体现在三个方面,其一是技术体系结构不同;其二是岗位任务目的存在一定的区别;其三是工作场景具有一定的区别。

    ​对于大数据分析师来说,要具备更加全面的知识结构,涉及到大数据平台知识、算法设计知识、程序设计知识和具体的行业知识等,所以相对于传统的数据分析师来说,大数据分析师的从业门槛有了一定程度的提升。从目前行业领域的人才招聘情况来看,大数据分析岗位往往需要具有较高的学历要求,研究生往往更愿意从事相关岗位。

    大数据分析的目的与传统的数据分析目的也存在一定的区别,主要体现在两个方面,其一是大数据分析比较注重数据的价值化,简单的说,大数据分析的结果会提升数据的价值,而传统数据分析的目的往往是以应用为导向的。另一个区别在于,大数据分析的结果往往是为了提供给智能体使用,比如人工智能领域的算法训练、验证等过程都需要大数据分析的参与。

    在工作场景上,大数据分析与传统的数据分析也存在一定的区别,大数据分析往往需要借助于大数据平台进行,比如Hadoop、Spark,以及各种商用的大数据平台等,但是传统的数据分析往往会基于Excel或者是传统数据库进行。相对于传统数据分析工具来说,大数据分析的工具往往更加丰富,复杂程度也有明显的提升。

    女生适合学大数据吗?
    梦老师 大数据工程师

    女生是适合学习大数据技术的,而且大数据行业内有很多岗位比较适合女生从事,比如数据整理、存储、分析等岗位都是不错的选择,但是由于大数据的知识体系比较复杂,所以学习起来也具有一定的难度。具体原因如下:

    ①与男性相比,女性在沟通上更有优势

    众所周知,做大数据开发就是为了服务于客户,虽然说做出项目可以满足于客户需求,但是如何完整地表达出你所做的项目初衷,则是不少男性大数据工程师的硬伤。在这一点上,女性就显得更有优势的多。因为女性给人平易近人的感觉,在与客户的沟通中会给客户以好感,自然能够减少与客户的沟通障碍。

    ②外界对女性工程师的期望值不高

    虽说男女平等,但是由于生理原因,外界对女大数据开发工程师的要求,并不如男大数据开发工程师的期望高,因此对于女大数据开发工程师来说其压力也就相对小一些。你可能会觉得这样的环境不公平,但是需要提醒各位的是,在这样的环境下你将会更容易创作出不错的业绩,证明自身的实力,企业也将会格外重视你的发展,给你更多的空间。

    ③女性大数据开发工程师心细惹人爱

    绝大部分男大数据开发工程师性格大大咧咧,在工作中常常会有粗心大意的毛病。但是女工程师相对来说,就比较少,这正是因为女性的细心,女工程师的细心常常能够找到开发过程中的bug,因此很多公司非常乐于招聘女性大数据开发工程师。

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司