问答详情

大数据工程技术人员主要干什么?

759次观看
标签: 大数据工程 大数据工程技术人员
老师回答

1.研究和开发大数据采集、清洗、存储及管理、分析及挖掘、展现及应用等有关技术;

2.研究、应用大数据平台体系架构、技术和标准;

3.设计、开发、集成、测试大数据软硬件系统;

4.大数据采集、清洗、建模与分析;

5.管理、维护并保障大数据系统稳定运行;

6.监控、管理和保障大数据安全;

7.提供大数据的技术咨询和技术服务。

免费直播

    精选课程
    相关推荐
    大数据开发具体要怎样学习?
    梦老师 大数据工程师

    1、编程语言的学习

    对于零基础的同学,一开始入门可能不会太简单。因为需要掌握一门计算机的编程语言,大家都知道计算机编程语言有很多,比如:R,C++,JAVA等等。建议从Java入手,容易学而且很好用,Java只需理解一些基本的概念,就可以用它编写出适合于各种情况的应用程序。现在一般也都是从JAVA开始学起,这相当于也是一个基础。

    2、大数据相关技术的学习

    学完了编程语言之后,一般就可以进行大数据部分的学习了。一般来说,学习大数据部分的时间比学习Java的时间要更长,JAVA算作学习大数据要学习的一部分,除此之外学习大数据还需要学习其他相关类型的数据知识。大数据部分,包括Hadoop 、Spark、Storm开发、Hive 数据库、Linux 操作系统等知识,还要熟悉大数据处理和分析技术。如果要完整的学习大数据的话,这些都是必不可少的。

    3、项目实战阶段

    学习任何一门技术,除了理论知识,项目的实战训练也是非常重要的,进行一些实际项目的操作练手,可以帮助我们更好的理解所学的内容,同时对于相关知识也能加强记忆,在今后的运用中,也可以更快的上手,对于相关知识该怎么用也有了经验。在项目实战中,遇到问题最好积极动手记录下来,这样才能更好的去解决你遇到的问题。

    大数据岗位方向都有哪些?
    刘老师 大数据工程师

    1、大数据开发工程师

    开发,建设,测试和维护架构;负责公司大数据平台的开发和维护,负责大数据平台持续集成相关工具平台的架构设计与产品开发等。

    2、数据分析师

    收集,处理和执行统计数据分析;运用工具,提取、分析、呈现数据,实现数据的商业意义,需要业务理解和工具应用能力。

    3、数据挖掘工程师

    数据建模、机器学习和算法实现;商业智能,用户体验分析,预测流失用户等;需要过硬的数学和统计学功底以外,对算法的代码实现也有很高的要求。

    4、数据架构师

    需求分析,平台选择,技术架构设计,应用设计和开发,测试和部署;高级算法设计与优化;数据相关系统设计与优化,需要平台级开发和架构设计能力。

    5、数据库开发

    设计,开发和实施基于客户需求的数据库系统,通过理想接口连接数据库和数据库工具,优化数据库系统的性能效率等。

    6、数据库管理

    数据库设计、数据迁移、数据库性能管理、数据安全管理,故障检修问题、数据备份、数据恢复等。

    7、数据科学家

    数据挖掘架构、模型标准、数据报告、数据分析方法;利用算法和模型提高数据处理效率、挖掘数据价值、实现从数据到知识的转换。

    8、数据产品经理

    把数据和业务结合起来做成数据产品;平台线提供基础平台和通用的数据工具,业务线提供更加贴近业务的分析框架和数据应用。

    大数据与数据分析师有哪些区别?
    宋老师 大数据工程师

    首先,大数据分析师是大数据时代背景下产生的一种新型技术岗位,与传统数据分析师的区别主要体现在三个方面,其一是技术体系结构不同;其二是岗位任务目的存在一定的区别;其三是工作场景具有一定的区别。

    ​对于大数据分析师来说,要具备更加全面的知识结构,涉及到大数据平台知识、算法设计知识、程序设计知识和具体的行业知识等,所以相对于传统的数据分析师来说,大数据分析师的从业门槛有了一定程度的提升。从目前行业领域的人才招聘情况来看,大数据分析岗位往往需要具有较高的学历要求,研究生往往更愿意从事相关岗位。

    大数据分析的目的与传统的数据分析目的也存在一定的区别,主要体现在两个方面,其一是大数据分析比较注重数据的价值化,简单的说,大数据分析的结果会提升数据的价值,而传统数据分析的目的往往是以应用为导向的。另一个区别在于,大数据分析的结果往往是为了提供给智能体使用,比如人工智能领域的算法训练、验证等过程都需要大数据分析的参与。

    在工作场景上,大数据分析与传统的数据分析也存在一定的区别,大数据分析往往需要借助于大数据平台进行,比如Hadoop、Spark,以及各种商用的大数据平台等,但是传统的数据分析往往会基于Excel或者是传统数据库进行。相对于传统数据分析工具来说,大数据分析的工具往往更加丰富,复杂程度也有明显的提升。

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司