问答详情

高薪大数据工程师要掌握哪内容?

636次观看
标签: 高薪大数据工程师 大数据工程师
老师回答

1、知道怎样利用Hadoop以及其他相关技术设计分布式系统。

2、知道如何利用Pig和Spark创造能够在Hadoop集群上运算数据的脚本。

3、知道如何利用HBase Cassandra和MongoDB来分析非关系型数据库。

4、知道什么才是在不同状况下合适的数据存储技术。

5、知道如何利用Kafka Sqoop和Flume等技术将数据发布到Hadoop集群上。

6、知道如何利用HDFS和MapReduce来存储分析大规模的数据。

7、知道如何利用Hive和MySQL分析关系型数据。

8、知道如何利用Drill Phoenix和Presto查询数据。

9、学会理解YARN Tex Mesos Zookeeper Zepplin Hue和Oozie是怎样管理Hadoop集群的。

10、利用Spark Streaming Flink和Storm消耗流数据。

免费直播

    精选课程
    相关推荐
    大数据岗位方向都有哪些?
    刘老师 大数据工程师

    1、大数据开发工程师

    开发,建设,测试和维护架构;负责公司大数据平台的开发和维护,负责大数据平台持续集成相关工具平台的架构设计与产品开发等。

    2、数据分析师

    收集,处理和执行统计数据分析;运用工具,提取、分析、呈现数据,实现数据的商业意义,需要业务理解和工具应用能力。

    3、数据挖掘工程师

    数据建模、机器学习和算法实现;商业智能,用户体验分析,预测流失用户等;需要过硬的数学和统计学功底以外,对算法的代码实现也有很高的要求。

    4、数据架构师

    需求分析,平台选择,技术架构设计,应用设计和开发,测试和部署;高级算法设计与优化;数据相关系统设计与优化,需要平台级开发和架构设计能力。

    5、数据库开发

    设计,开发和实施基于客户需求的数据库系统,通过理想接口连接数据库和数据库工具,优化数据库系统的性能效率等。

    6、数据库管理

    数据库设计、数据迁移、数据库性能管理、数据安全管理,故障检修问题、数据备份、数据恢复等。

    7、数据科学家

    数据挖掘架构、模型标准、数据报告、数据分析方法;利用算法和模型提高数据处理效率、挖掘数据价值、实现从数据到知识的转换。

    8、数据产品经理

    把数据和业务结合起来做成数据产品;平台线提供基础平台和通用的数据工具,业务线提供更加贴近业务的分析框架和数据应用。

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司