问答详情

大数据工程师应该会什么?

835次观看
标签: 大数据工程师 大数据
老师回答

1.精通JAVA开发语言,同时熟悉Python、Scala开发语言者优先;

2.熟悉Spark或Hadoop生态圈技术,具有源码阅读及二次开发工作经验;精通Hadoop生态及高性能缓存相关的各种工具,有源码开发实战经验者优先;

3.熟练使用SQL,熟悉数据库原理,熟悉至少一种主流关系型数据库;熟悉Linux操作系统,熟练使用常用命令,熟练使用shell脚本;熟悉ETL开发,能熟练至少一种ETL(talend、kettle、ogg等)转化开源工具者优先;

4.具有清晰的系统思维逻辑,对解决行业实际问题有浓厚兴趣,具备良好的沟通协调能力及学习能力。

免费直播

    精选课程
    相关推荐
    大数据岗位方向都有哪些?
    刘老师 大数据工程师

    1、大数据开发工程师

    开发,建设,测试和维护架构;负责公司大数据平台的开发和维护,负责大数据平台持续集成相关工具平台的架构设计与产品开发等。

    2、数据分析师

    收集,处理和执行统计数据分析;运用工具,提取、分析、呈现数据,实现数据的商业意义,需要业务理解和工具应用能力。

    3、数据挖掘工程师

    数据建模、机器学习和算法实现;商业智能,用户体验分析,预测流失用户等;需要过硬的数学和统计学功底以外,对算法的代码实现也有很高的要求。

    4、数据架构师

    需求分析,平台选择,技术架构设计,应用设计和开发,测试和部署;高级算法设计与优化;数据相关系统设计与优化,需要平台级开发和架构设计能力。

    5、数据库开发

    设计,开发和实施基于客户需求的数据库系统,通过理想接口连接数据库和数据库工具,优化数据库系统的性能效率等。

    6、数据库管理

    数据库设计、数据迁移、数据库性能管理、数据安全管理,故障检修问题、数据备份、数据恢复等。

    7、数据科学家

    数据挖掘架构、模型标准、数据报告、数据分析方法;利用算法和模型提高数据处理效率、挖掘数据价值、实现从数据到知识的转换。

    8、数据产品经理

    把数据和业务结合起来做成数据产品;平台线提供基础平台和通用的数据工具,业务线提供更加贴近业务的分析框架和数据应用。

    大数据开发具体要怎样学习?
    梦老师 大数据工程师

    1、编程语言的学习

    对于零基础的同学,一开始入门可能不会太简单。因为需要掌握一门计算机的编程语言,大家都知道计算机编程语言有很多,比如:R,C++,JAVA等等。建议从Java入手,容易学而且很好用,Java只需理解一些基本的概念,就可以用它编写出适合于各种情况的应用程序。现在一般也都是从JAVA开始学起,这相当于也是一个基础。

    2、大数据相关技术的学习

    学完了编程语言之后,一般就可以进行大数据部分的学习了。一般来说,学习大数据部分的时间比学习Java的时间要更长,JAVA算作学习大数据要学习的一部分,除此之外学习大数据还需要学习其他相关类型的数据知识。大数据部分,包括Hadoop 、Spark、Storm开发、Hive 数据库、Linux 操作系统等知识,还要熟悉大数据处理和分析技术。如果要完整的学习大数据的话,这些都是必不可少的。

    3、项目实战阶段

    学习任何一门技术,除了理论知识,项目的实战训练也是非常重要的,进行一些实际项目的操作练手,可以帮助我们更好的理解所学的内容,同时对于相关知识也能加强记忆,在今后的运用中,也可以更快的上手,对于相关知识该怎么用也有了经验。在项目实战中,遇到问题最好积极动手记录下来,这样才能更好的去解决你遇到的问题。

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司