问答详情

大数据工程师主要做什么?

962次观看
标签: 大数据工程师 大数据
老师回答

当前大数据平台开发岗位的附加值还是比较高的,大数据平台开发岗位往往集中在大型互联网企业,随着云计算逐渐从IaaS向PaaS过渡,大数据平台开发也会基于行业特点来开发针对性比较强的PaaS平台,这是整合行业资源并搭建技术生态的一个关键。搭建PaaS平台不仅需要掌握大数据知识,同时还需要掌握云计算知识,实际上大数据和云计算本身就有比较紧密的联系,二者在技术体系结构上都是以分布式存储和分布式计算为基础,只不过关注点不同而已。

大数据运维工程师以搭建大数据平台为主,虽然这部分岗位的门槛相对比较低,但是需要学习的内容还是比较多的,而且内容也比较杂,网络知识、数据库管理知识、操作系统(Linux)知识、大数据平台(含开源和商用平台)知识都需要掌握一些,对于实践操作的要求会比较高。

最后,当前大数据工程师往往并不包含专业的数据分析岗位,一般数据分析岗位都会单独列出来,这部分岗位涉及到算法岗、开发岗(实现)和数据呈现岗等,数据分析岗位对于从业者的数学基础要求比较高,同时还需要掌握大量的数据分析工具,当然也离不开Python、Sql等知识。

免费直播

    精选课程
    相关推荐
    数据科学与大数据技术是什么专业?
    张老师 大数据工程师

    “数据科学与大数据技术”专业是近两年才设立的新专业。“数据科学与大数据技术”专业有着很好的就业前景并且就业的宽度广,就业薪资待遇水平高,缺点可能在于专业设立较新,教学课程设置上可能无法跟上大数据人才培养的技能需求。

    “数据科学与大数据技术”专业的人才培养方向:

    分析类岗位

    分析类工程师。使用统计模型、数据挖掘、机器学习及其他方法,进行数据清洗、数据分析、构建行业数据分析模型,为客户提供有价值的信息,满足客户需求。

    算法工程师。大数据方向,和专业工程师一起从系统应用的角度,利用数据挖掘/统计学习的理论和方法解决实际问题;人工智能方向,根据人工智能产品需求完成技术方案设计及算法设计和核心模块开发,组织解决项目开发过程中的重大技术问题。

    研发类岗位

    架构工程师。负责Hadoop集群架构设计开发、搭建、管理、运维、调优,从数据采集到数据加工,从数据清洗到数据抽取,从数据统计到数据分析,实现大数据全产业线上的应用分析设计。

    开发工程师。基于hadoop、spark等构建数据分析平台,进行设计、开发分布式计算业务,负责机器学习、深度学习领域的开发工作。

    运维工程师。负责大数据基础平台的运维,保障平台的稳定可用,参与设计大数据自动化运维、监控、故障处理工具。

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司