问答详情

大数据未来发展方向有哪些?

2713次观看
标签: 大数据 大数据发展方向
老师回答

1、在大数据采集与预处理方向

这方向最常见的问题是数据的多源和多样性,导致数据的质量存在差异,严重影响到数据的可用性。针对这些问题,目前很多公司已经推出了多种数据清洗和质量控制工具(如IBM的Data Stage)。

2、在大数据存储与管理方向

这方向最常见的挑战是存储规模大,存储管理复杂,需要兼顾结构化、非结构化和半结构化的数据。分布式文件系统和分布式数据库相关技术的发展正在有效的解决这些方面的问题。在大数据存储和管理方向,尤其值得我们关注的是大数据索引和查询技术、实时及流式大数据存储与处理的发展。

3、大数据计算模式方向

由于大数据处理多样性的需求,目前出现了多种典型的计算模式,包括大数据查询分析计算(如Hive)、批处理计算(如Hadoop MapReduce)、流式计算(如Storm)、迭代计算(如HaLoop)、图计算(如Pregel)和内存计算(如Hana),而这些计算模式的混合计算模式将成为满足多样性大数据处理和应用需求的有效手段。

4、大数据分析与挖掘方向

在数据量迅速膨胀的同时,还要进行深度的数据深度分析和挖掘,并且对自动化分析要求越来越高,越来越多的大数据数据分析工具和产品应运而生,如用于大数据挖掘的R Hadoop版、基于MapReduce开发的数据挖掘算法等。

免费直播

    精选课程
    相关推荐
    女生适合学大数据吗?
    梦老师 大数据工程师

    女生是适合学习大数据技术的,而且大数据行业内有很多岗位比较适合女生从事,比如数据整理、存储、分析等岗位都是不错的选择,但是由于大数据的知识体系比较复杂,所以学习起来也具有一定的难度。具体原因如下:

    ①与男性相比,女性在沟通上更有优势

    众所周知,做大数据开发就是为了服务于客户,虽然说做出项目可以满足于客户需求,但是如何完整地表达出你所做的项目初衷,则是不少男性大数据工程师的硬伤。在这一点上,女性就显得更有优势的多。因为女性给人平易近人的感觉,在与客户的沟通中会给客户以好感,自然能够减少与客户的沟通障碍。

    ②外界对女性工程师的期望值不高

    虽说男女平等,但是由于生理原因,外界对女大数据开发工程师的要求,并不如男大数据开发工程师的期望高,因此对于女大数据开发工程师来说其压力也就相对小一些。你可能会觉得这样的环境不公平,但是需要提醒各位的是,在这样的环境下你将会更容易创作出不错的业绩,证明自身的实力,企业也将会格外重视你的发展,给你更多的空间。

    ③女性大数据开发工程师心细惹人爱

    绝大部分男大数据开发工程师性格大大咧咧,在工作中常常会有粗心大意的毛病。但是女工程师相对来说,就比较少,这正是因为女性的细心,女工程师的细心常常能够找到开发过程中的bug,因此很多公司非常乐于招聘女性大数据开发工程师。

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司