问答详情

大数据工程师有哪些技术要求?

855次观看
标签: 大数据工程师 大数据工程师技术要求
老师回答

1、数据采集技术数据采集主要通过Web、应用、传感器等方式获得各种类型的结构化、半结构化及非结构化数据,难点在于采集量大且数据类型繁多。采集网络数据可以通过网络爬虫或API的方式来获取。对于系统管理员来说,系统日志对于管理有重要的意义,很多互联网企业都有自己的海量数据收集工具,用于系统日志的收集,能满足每秒数百MB的日志数据采集和传输需求,如Hadoop的Chukwa、Flume,Facebook的Scribe等。

2、数据预处理技术大数据的预处理包括对数据的抽取和清洗等方面,数据抽取过程可以将数据转化为单一的或者便于处理的数据结构(常用的数据抽取工具infa)。数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序,可以将数据集中的残缺数据、错误数据和重复数据筛选出来并丢弃。

3、大数据存储和管理技术实现对结构化、半结构化、非结构化海量数据的存储与管理,可以综合利用分布式文件系统、数据仓库、关系型数据库、非关系型数据库等技术。

4、大数据计算引擎批处理模式:一堆数据一起做批量处理,不能满足实时性要求,如MapReduce,Spark。流计算:针对流数据(日志流、用户点击流)的实时计算,需要实时处理。只能用流计算框架做,流计算代表产品:S4+Storm+Flume。图计算:MapReduce也能处理,但效率不高。代表软件:Google Pregel。查询分析计算:交互式查询,要求实时性高。代表产品:Google Dremel、Hive、Cassandra、Impala。

免费直播

    精选课程
    相关推荐
    大数据岗位方向都有哪些?
    刘老师 大数据工程师

    1、大数据开发工程师

    开发,建设,测试和维护架构;负责公司大数据平台的开发和维护,负责大数据平台持续集成相关工具平台的架构设计与产品开发等。

    2、数据分析师

    收集,处理和执行统计数据分析;运用工具,提取、分析、呈现数据,实现数据的商业意义,需要业务理解和工具应用能力。

    3、数据挖掘工程师

    数据建模、机器学习和算法实现;商业智能,用户体验分析,预测流失用户等;需要过硬的数学和统计学功底以外,对算法的代码实现也有很高的要求。

    4、数据架构师

    需求分析,平台选择,技术架构设计,应用设计和开发,测试和部署;高级算法设计与优化;数据相关系统设计与优化,需要平台级开发和架构设计能力。

    5、数据库开发

    设计,开发和实施基于客户需求的数据库系统,通过理想接口连接数据库和数据库工具,优化数据库系统的性能效率等。

    6、数据库管理

    数据库设计、数据迁移、数据库性能管理、数据安全管理,故障检修问题、数据备份、数据恢复等。

    7、数据科学家

    数据挖掘架构、模型标准、数据报告、数据分析方法;利用算法和模型提高数据处理效率、挖掘数据价值、实现从数据到知识的转换。

    8、数据产品经理

    把数据和业务结合起来做成数据产品;平台线提供基础平台和通用的数据工具,业务线提供更加贴近业务的分析框架和数据应用。

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司