大数据工程师要有哪些基础?

704次观看

标签：大数据工程师大数据工程师基础

以下回答来自环球青藤，点击开启技能学习>

老师回答

黄老师大数据工程师

一、计算机编码能力

实际开发能力和大规模的数据处理能力是作为大数据工程师的一些必备要素。举例来说，现在人们在社交网络上所产生的许多记录都是非结构化的数据，如何从这些毫无头绪的文字、语音、图像甚至视频中拾取有意义的信息就需要大数据工程师亲自挖掘。

二、数学及统计学相关的背景

国内BAT为代表的大公司，对于大数据工程师的要求都是希望是统计学和数学背景的硕士或博士学历。缺乏理论背景的数据工作者，按照不同的数据模型和算法总能捯饬出一些结果来，但如果你不知道那代表什么，就并不是真正有意义的结果，并且那样的结果还容易误导你。只有具备一定的理论知识，才能理解模型、复用模型甚至创新模型，来解决实际问题。

三、特定应用领域或行业的知识

大数据工程师这个角色很重要的一点是，不能脱离市场，因为大数据只有和特定领域的应用结合起来才能产生价值。所以，在某个或多个垂直行业的经历能为应聘者积累对行业的认知，对于之后成为大数据工程师有很大帮助。

©本文版权归环球青藤所有，任何形式转载请联系我们。

免费直播

精选课程

相关推荐

Java和web前端哪个就业前景好?

刘老师大数据工程师

Java和web前端目前就业前景都不错，整个市场需求都很旺盛，学会两门技术中的任何一种，我觉得找工作都不是难事。整体来说，Java的应用场景相对广泛一些，所以会比前端发展空间更大。

①web前端

前端入门比较快，容易上手，框架丰富，目前用的比较多的是Vue、Angular、React、Bootstrap等，容易出成果。

②Java

Java入门很容易入门，且从就业来说，Java有着不错的就业前景。但是，如果想要后期有更大发展前景，还有很多东西要学，如数据结构、计算机网络、操作系统这些基础知识都要懂。Java的应用领域极其广泛，由于大多涉及到企业的业务模块，人员需求量很大，他们在公司的重要程度可想而知，升职空间很大。

大数据时代热门职业有哪些?

谷老师大数据工程师

1、数据规划师

在一个产品设计之前，为企业各项决策提供关键性数据支撑，实现企业数据价值的最大化，更好地实施差异化竞争，帮助企业在竞争中获得先机。

2、数据工程师

大数据基础设施的设计者、建设者和管理者，他们开发出可根据企业需要进行分析和提供数据的架构。同时，他们的架构还可确保系统能够平稳运行。

3、数据架构师

擅长处理散乱数据、各类不相干的数据，精通统计学的方法，能够通过监控系统获得原始数据，在统计学的角度上解释数据。

4、数据分析师

职责是通过分析将数据转化为企业能够使用的信息。他们通过数据找到问题，准确地找到问题产生的原因，为下一步的改进找到关键点。

大数据专业需要学习哪些语言?

刘老师大数据工程师

1、Java

大数据的本质无非就是海量数据的计算、查询与存储，后台开发很容易接触到大数据量存取的应用场景，所以 Java 语言有着天然优势，现在大数据的组件很多都是用 Java 开发的，比如 HDFS、Yarn、HBase、MapReduce、ZooKeeper等等。

2、Python

Python 的优势在于资源丰富，拥有坚实的数值算法、图标和数据处理基础设施，建立了非常良好的生态环境。并不是所有的企业都能自己生产大量数据用于决策辅助，更多的互联网企业都是靠爬虫来抓取互联网数据进行分析，而 Python 在网络爬虫领域有着强势地位。Python 的战略定位就是做一种简单、易用但专业、严谨的通用言语组合。Python 语法简捷而清晰，对底层做了很好的封装，是一种很容易上手的高级语言。更重要的是， Python 的包装能力、可组合性、可嵌入性都很好，可以把各种复杂性包装在 Python 模块里，暴露出漂亮的接口。

3、Scala

Scala 在 JVM 上运行，基本上成功地结合了函数范式和面向对象范式。目前，它在金融界和需要处理海量数据的公司企业中取得了巨大进展。Scala 通常采用一种大规模分布式方式来处理数据，它还驱动着像 Spark 和 Kafka 这样的大数据处理平台，也被 Twitter 和 LinkedIn 这样的大型企业所使用。