问答详情

大数据工程师的职责有哪些?

1048次观看
标签: 大数据工程 大数据工程师职责
老师回答

大数据工程师一个很重要的工作,就是通过分析数据来找出过去事件的特征。比如,腾讯的数据团队正在搭建一个数据仓库,把公司所有网络平台上数量庞大、不规整的数据信息进行梳理,总结出可供查询的特征,来支持公司各类业务对数据的需求,包括广告投放、游戏开发、社交网络等。

找出过去事件的特征,最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹,就能够了解这个人,并预测他的行为。

通过引入关键因素,大数据工程师可以预测未来的消费趋势。在阿里妈妈的营销平台上,工程师正试图通过引入气象数据来帮助淘宝卖家做生意。比如今年夏天不热,很可能某些产品就没有去年畅销,除了空调、电扇,背心、游泳衣等都可能会受其影响。那么我们就会建立气象数据和销售数据之间的关系,找到与之相关的品类,提前警示卖家周转库存。

根据不同企业的业务性质,大数据工程师可以通过数据分析来达到不同的目的。以腾讯来说,能反映大数据工程师工作的最简单直接的例子就是选项测试(AB Test),即帮助产品经理在A、B两个备选方案中做出选择。在过去,决策者只能依据经验进行判断,但如今大数据工程师可以通过大范围地实时测试—比如,在社交网络产品的例子中,让一半用户看到A界面,另一半使用B界面,观察统计一段时间内的点击率和转化率,以此帮助市场部做出最终选择。

免费直播

    精选课程
    相关推荐
    大数据未来的发展前景怎样?
    张老师 大数据工程师

    大数据产业是以数据采集、交易、存储、加工、分析、服务为主的各类经济活动,包括数据资源建设、大数据软硬件产品的开发、销售和租赁活动,以及相关信息技术服务。数据服务、基础设施和融合应用相互交融,协力构建了完整的大数据产业链。

    从大数据产业链上下游来看,大数据行业上游是基础支撑层,主要包括网络设备、计算机设备、存储设备等硬件供应,此外,相关云计算资源管理平台、大数据平台建设也属于产业链上游;

    大数据行业中游立足海量数据资源,围绕各类应用和市场需求,提供辅助性的服务,包括数据交易、数据资产管理、数据采集、数据加工分析、数据安全,以及基于数据的IT运维等;

    大数据行业下游则是大数据应用市场,随着我国大数据研究技术水平的不断提升,目前,我国大数据已广泛应用于政务、工业、金融、交通、电信和空间地理等行业。

    在上游领域,基础设施层是整个大数据产业的引擎和基础,它涵盖了网络、存储和计算等硬件基础设施,资源管理平台以及各类与数据采集、预处理、分析和展示相关的方法和工具。相关代表企业有紫光集团、联想、中兴通讯、阿里云、腾讯云、华为、中科曙光等。

    在中游大数据服务领域,数据服务层是大数据市场的未来增长点之一, 随着5G商用的全面推广,数据采集和预处理需求将快速上升;此外,随着数字技术日益复杂,提供第三方数据分析、可视化和安全服务的市场也将持续壮大,相关代表企业有久其软件、拓尔思、太极股份、荣联科技等。

    大数据与数据分析师有哪些区别?
    宋老师 大数据工程师

    首先,大数据分析师是大数据时代背景下产生的一种新型技术岗位,与传统数据分析师的区别主要体现在三个方面,其一是技术体系结构不同;其二是岗位任务目的存在一定的区别;其三是工作场景具有一定的区别。

    ​对于大数据分析师来说,要具备更加全面的知识结构,涉及到大数据平台知识、算法设计知识、程序设计知识和具体的行业知识等,所以相对于传统的数据分析师来说,大数据分析师的从业门槛有了一定程度的提升。从目前行业领域的人才招聘情况来看,大数据分析岗位往往需要具有较高的学历要求,研究生往往更愿意从事相关岗位。

    大数据分析的目的与传统的数据分析目的也存在一定的区别,主要体现在两个方面,其一是大数据分析比较注重数据的价值化,简单的说,大数据分析的结果会提升数据的价值,而传统数据分析的目的往往是以应用为导向的。另一个区别在于,大数据分析的结果往往是为了提供给智能体使用,比如人工智能领域的算法训练、验证等过程都需要大数据分析的参与。

    在工作场景上,大数据分析与传统的数据分析也存在一定的区别,大数据分析往往需要借助于大数据平台进行,比如Hadoop、Spark,以及各种商用的大数据平台等,但是传统的数据分析往往会基于Excel或者是传统数据库进行。相对于传统数据分析工具来说,大数据分析的工具往往更加丰富,复杂程度也有明显的提升。

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司