问答详情

大数据存在哪些局限性?

889次观看
标签: 大数据 大数据局限性
老师回答

1、大数据不理解背景

人类的决策不是离散的事件,而是根植于时间序列和环境中。经过数百万年的进化,人类的大脑已经适应了这个现实。人们擅长讲故事,有很多原因,也有很多场景。数据分析不知道如何讲故事,也不知道思维是如何浮现的。即使在一本普通的小说中,这种想法也无法用数据分析来解释。

2、大数据将创造更大的干草垛

这个想法是由著名商业思想家Nassim Taleb提出的,他是《黑天鹅:如何应对不可知的未来》一书的作者。我们拥有的数据越多,我们就能发现更显著的统计相关性。很多这样的关系都是毫无意义的,在解决问题时还会让人误入歧途。随着越来越多的数据可用,作弊行为呈指数级增长。在大海捞针的过程中,我们要找的针埋得越来越深。大数据时代的一个特征是,“重大”发现的数量被数据扩张的噪音淹没了。

3、大数据不能解决大问题

如果你只是想分析哪些邮件产生了最多的竞选捐款,你可以做一个随机对照试验。但如果目标是在衰退期间刺激经济,你不会找到一个平行世界社会作为对照组。最好的刺激方案是什么?关于这个问题有很多争论,尽管数据泛滥,但据我所知,这场辩论中没有一个主要的辩手根据统计分析改变了立场。

4、大数据往往是一种趋势,而不是杰作

当大量的个人迅速对一种文化产品产生兴趣时,数据分析可以对这种趋势敏感。但是一些重要的(有利可图的)产品一开始就从数据中被丢弃了,仅仅是因为它们的怪癖不为人所知。

5、大数据掩盖了价值

“原始数据”的意义在于,它永远不可能是“原始的”;它总是根据一个人的倾向和价值观来构建的。数据分析的结果看似客观公正,但实际上,价值选择贯穿于从构建到解读的全过程。

免费直播

    精选课程
    相关推荐
    大数据预测分析方法有哪些?
    刘老师 大数据工程师

    1、可视化分析

    大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一样简单明了。

    2、数据挖掘算法

    大数据分析的理论核心就是数据挖掘算法,各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点,也正是因为这些被全世界统计学家所公认的各种统计方法(可以称之为真理)才能深入数据内部,挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据,如果一个算法得花上好几年才能得出结论,那大数据的价值也就无从说起了。

    3、预测性分析能力

    大数据分析最终要的应用领域之一就是预测性分析,从大数据中挖掘出特点,通过科学的建立模型,之后便可以通过模型带入新的数据,从而预测未来的数据。

    4、数据质量和数据管理

    大数据分析离不开数据质量和数据管理,高质量的数据和有效的数据管理,无论是在学术研究还是在商业应用领域,都能够保证分析结果的真实和有价值。 当然更加深入大数据分析的话,还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

    数据科学与大数据技术是什么专业?
    张老师 大数据工程师

    “数据科学与大数据技术”专业是近两年才设立的新专业。“数据科学与大数据技术”专业有着很好的就业前景并且就业的宽度广,就业薪资待遇水平高,缺点可能在于专业设立较新,教学课程设置上可能无法跟上大数据人才培养的技能需求。

    “数据科学与大数据技术”专业的人才培养方向:

    分析类岗位

    分析类工程师。使用统计模型、数据挖掘、机器学习及其他方法,进行数据清洗、数据分析、构建行业数据分析模型,为客户提供有价值的信息,满足客户需求。

    算法工程师。大数据方向,和专业工程师一起从系统应用的角度,利用数据挖掘/统计学习的理论和方法解决实际问题;人工智能方向,根据人工智能产品需求完成技术方案设计及算法设计和核心模块开发,组织解决项目开发过程中的重大技术问题。

    研发类岗位

    架构工程师。负责Hadoop集群架构设计开发、搭建、管理、运维、调优,从数据采集到数据加工,从数据清洗到数据抽取,从数据统计到数据分析,实现大数据全产业线上的应用分析设计。

    开发工程师。基于hadoop、spark等构建数据分析平台,进行设计、开发分布式计算业务,负责机器学习、深度学习领域的开发工作。

    运维工程师。负责大数据基础平台的运维,保障平台的稳定可用,参与设计大数据自动化运维、监控、故障处理工具。

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司