问答详情

大数据运维工程师具体做什么?

2540次观看
标签: 大数据运维工程师 大数据工程师
老师回答

事件管理:目标是在服务出现异常时尽可能快速的恢复服务,从而保障服务的可用性;同时深入分析故障产生的原因,推动并修复服务存在的问题,同时设计并开发相关的预案以确保服务出现故障时可以高效的止损。

问题发现:设计并开发高效的监控平台和告警平台,使用机器学习、大数据分析等方法对系统中的大量监控数据进行汇总分析,以期在系统出现异常的时候可以快速的发现问题和判断故障的影响。

问题处理:设计并开发高效的问题处理平台和工具,在系统出现异常的时候可以快速/自动决策并触发相关止损预案,快速恢复服务。

问题跟踪:通过分析问题发生时系统的各种表现(日志、变更、监控)确定问题发生的根本原因,制定并开发预案工具。

变更管理:以可控的方式,尽可能高效的完成产品功能的迭代的变更工作。

配置管理:通过配置管理平台(自研、开源)管理服务涉及到的多个模块、多个版本的关系以及配置的准确性。

发布管理:通过构建自动化的平台确保每一次版本变更可以安全可控地发布到生产环境。

容量管理:在服务运行维护阶段,为了确保服务架构部署的合理性同时掌握服务整体的冗余,需要不断评估系统的承载能力,并不断优化之。

容量评估:通过技术手段模拟实际的用户请求,测试整个系统所能承担的最大吞吐;通过建立容量评估模型分析压力测试过程中的数据以评估整个服务的容量。

容量优化:基于容量评估数据,判断系统的瓶颈并提供容量优化的解决方案。比如通过调整系统参数、优化服务部署架构等方法来高效的提升系统容量。

架构优化:为了支持产品的不断迭代,需要不断的进行架构优化调整。以确保整个产品能够在功能不断丰富和复杂的条件下,同时保持高可用性。

免费直播

    精选课程
    相关推荐
    大数据未来的发展前景怎样?
    张老师 大数据工程师

    大数据产业是以数据采集、交易、存储、加工、分析、服务为主的各类经济活动,包括数据资源建设、大数据软硬件产品的开发、销售和租赁活动,以及相关信息技术服务。数据服务、基础设施和融合应用相互交融,协力构建了完整的大数据产业链。

    从大数据产业链上下游来看,大数据行业上游是基础支撑层,主要包括网络设备、计算机设备、存储设备等硬件供应,此外,相关云计算资源管理平台、大数据平台建设也属于产业链上游;

    大数据行业中游立足海量数据资源,围绕各类应用和市场需求,提供辅助性的服务,包括数据交易、数据资产管理、数据采集、数据加工分析、数据安全,以及基于数据的IT运维等;

    大数据行业下游则是大数据应用市场,随着我国大数据研究技术水平的不断提升,目前,我国大数据已广泛应用于政务、工业、金融、交通、电信和空间地理等行业。

    在上游领域,基础设施层是整个大数据产业的引擎和基础,它涵盖了网络、存储和计算等硬件基础设施,资源管理平台以及各类与数据采集、预处理、分析和展示相关的方法和工具。相关代表企业有紫光集团、联想、中兴通讯、阿里云、腾讯云、华为、中科曙光等。

    在中游大数据服务领域,数据服务层是大数据市场的未来增长点之一, 随着5G商用的全面推广,数据采集和预处理需求将快速上升;此外,随着数字技术日益复杂,提供第三方数据分析、可视化和安全服务的市场也将持续壮大,相关代表企业有久其软件、拓尔思、太极股份、荣联科技等。

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司