大数据工程师到底需要会什么?
775次观看
标签:
大数据工程师
大数据工程
老师回答
1.大数据基础知识。hadoop生态圈的组件,离线批处理和流处理组件。所以什么zookeep hdfs yarn hive hbase eslasticsearch spark sparkstreaming flink等等,你都要了解,甚至熟悉才行。不管国外的CDH,还是国内的TDH、华为、阿里的产品,你实施中是要安装、指导客户使用、以及debug常见问题的。
2.Linux知识。目前基本集群服务大部分是使用linux的,所以需要熟悉linux常用命令,linux相关发性版本系统(如redhat ubuntu centos甚至 arm体系架构的系统)安装,网络配置,磁盘规划,常见系统问题分析等等。
3.必要的开发语言,应用和运维开发基础。别以为实施工程师就不用写代码了,其实实施工程师也要会,而且要全面。shell perl python的脚本用来运维自动化,java sacla写一些demo用来展示给客户做应用接入,sql做一些数据处理和etl等。另外debug集群的时候,经常会有日志信息,也是不同语言的trace信息,不懂开发,这部分log都看不明白的。
4.虚拟化技术。现在很多大数据产品已经上云了,数据云也是未来的方向。所以k8s docker 等都需要了解。国内阿里、星环等等产品都带有云的概念了。
5.软实力。沟通和写作能力、抗压能力、灵活应变能力等。这是技术以外的,但是也很重要。
©本文版权归环球青藤所有,任何形式转载请联系我们。
免费直播
精选课程
相关推荐