问答详情

大数据工程师到底需要会什么?

775次观看
标签: 大数据工程师 大数据工程
老师回答

1.大数据基础知识。hadoop生态圈的组件,离线批处理和流处理组件。所以什么zookeep hdfs yarn hive hbase eslasticsearch spark sparkstreaming flink等等,你都要了解,甚至熟悉才行。不管国外的CDH,还是国内的TDH、华为、阿里的产品,你实施中是要安装、指导客户使用、以及debug常见问题的。

2.Linux知识。目前基本集群服务大部分是使用linux的,所以需要熟悉linux常用命令,linux相关发性版本系统(如redhat ubuntu centos甚至 arm体系架构的系统)安装,网络配置,磁盘规划,常见系统问题分析等等。

3.必要的开发语言,应用和运维开发基础。别以为实施工程师就不用写代码了,其实实施工程师也要会,而且要全面。shell perl python的脚本用来运维自动化,java sacla写一些demo用来展示给客户做应用接入,sql做一些数据处理和etl等。另外debug集群的时候,经常会有日志信息,也是不同语言的trace信息,不懂开发,这部分log都看不明白的。

4.虚拟化技术。现在很多大数据产品已经上云了,数据云也是未来的方向。所以k8s docker 等都需要了解。国内阿里、星环等等产品都带有云的概念了。

5.软实力。沟通和写作能力、抗压能力、灵活应变能力等。这是技术以外的,但是也很重要。

免费直播

    精选课程
    相关推荐
    大数据与数据分析师有哪些区别?
    宋老师 大数据工程师

    首先,大数据分析师是大数据时代背景下产生的一种新型技术岗位,与传统数据分析师的区别主要体现在三个方面,其一是技术体系结构不同;其二是岗位任务目的存在一定的区别;其三是工作场景具有一定的区别。

    ​对于大数据分析师来说,要具备更加全面的知识结构,涉及到大数据平台知识、算法设计知识、程序设计知识和具体的行业知识等,所以相对于传统的数据分析师来说,大数据分析师的从业门槛有了一定程度的提升。从目前行业领域的人才招聘情况来看,大数据分析岗位往往需要具有较高的学历要求,研究生往往更愿意从事相关岗位。

    大数据分析的目的与传统的数据分析目的也存在一定的区别,主要体现在两个方面,其一是大数据分析比较注重数据的价值化,简单的说,大数据分析的结果会提升数据的价值,而传统数据分析的目的往往是以应用为导向的。另一个区别在于,大数据分析的结果往往是为了提供给智能体使用,比如人工智能领域的算法训练、验证等过程都需要大数据分析的参与。

    在工作场景上,大数据分析与传统的数据分析也存在一定的区别,大数据分析往往需要借助于大数据平台进行,比如Hadoop、Spark,以及各种商用的大数据平台等,但是传统的数据分析往往会基于Excel或者是传统数据库进行。相对于传统数据分析工具来说,大数据分析的工具往往更加丰富,复杂程度也有明显的提升。

    大数据在生活中有哪些应用?
    黄老师 大数据工程师

    1.了解和定位客户

    这是大数据目前最广为人知的应用领域。很多企业热衷于社交媒体数据、浏览器日志、文本挖掘等各类数据集,通过大数据技术创建预测模型,从而更全面地了解客户以及他们的行为、喜好。

    2.了解和优化业务流程

    大数据也越来越多地应用于优化业务流程,比如供应链或配送路径优化。通过定位和识别系统来跟踪货物或运输车辆,并根据实时交通路况数据优化运输路线。

    3.提供个性化服务

    大数据不仅适用于公司和政府,也适用于我们每个人,比如从智能手表或智能手环等可穿戴设备采集的数据中获益。Jawbone的智能手环可以分析人们的卡路里消耗、活动量和睡眠质量等。Jawbone公司已经能够收集长达60年的睡眠数据,从中分析出一些独到的见解反馈给每个用户。从中受益的还有网络平台“寻找真爱”,大多数婚恋网站都使用大数据分析工具和算法为用户匹配最合适的对象。

    4.改善医疗保健和公共卫生

    大数据分析的能力可以在几分钟内解码整个DNA序列,有助于我们找到新的治疗方法,更好地理解和预测疾病模式。试想一下,当来自所有智能手表等可穿戴设备的数据,都可以应用于数百万人及其各种疾病时,未来的临床试验将不再局限于小样本,而是包括所有人。

    5.提高体育运动技能

    如今大多数顶尖的体育赛事都采用了大数据分析技术。用于网球比赛的IBM SlamTracker工具,通过视频分析跟踪足球落点或者棒球比赛中每个球员的表现。许多优秀的运动队也在训练之外跟踪运动员的营养和睡眠情况。NFL开发了专门的应用平台,帮助所有球队根据球场上的草地状况、天气状况、以及学习期间球员的个人表现做出最佳决策,以减少球员不必要的受伤。

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司