问答详情

物联网大数据有什么特征?

1376次观看
标签: 物联网 物联网大数据
老师回答

1.高效分布式

必须是高效的分布式系统。物联网产生的数据量巨大,仅中国而言,就有5亿多台智能电表,每台电表每隔15分钟采集一次数据,一天全国智能电表就会产生500多亿条记录。这么大的数据量,任何一台服务器都无能力处理,因此处理系统必须是分布式的,水平扩展的。为降低成本,一个节点的处理性能必须是高效的,需要支持数据的快速写入和快速查询。

2.实时处理

必须是实时处理的系统。互联网大数据处理,大家所熟悉的场景是用户画像、推荐系统、舆情分析等等,这些场景并不需要什么实时性,批处理即可。但是对于物联网场景,需要基于采集的数据做实时预警、决策,延时要控制在秒级以内。如果计算没有实时性,物联网的商业价值就大打折扣。

3.高可靠性

需要运营商级别的高可靠服务。物联网系统对接的往往是生产、经营系统,如果数据处理系统宕机,直接导致停产,产生经济有损失、导致对终端消费者的服务无法正常提供。比如智能电表,如果系统出问题,直接导致的是千家万户无法正常用电。因此物联网大数据系统必须是高可靠的,必须支持数据实时备份,必须支持异地容灾,必须支持软件、硬件在线升级,必须支持在线IDC机房迁移,否则服务一定有被中断的可能。

4.高效缓存

需要高效的缓存功能。绝大部分场景,都需要能快速获取设备当前状态或其他信息,用以报警、大屏展示或其他。系统需要提供一高效机制,让用户可以获取全部、或符合过滤条件的部分设备的最新状态。

5.实时流式计算

需要实时流式计算。各种实时预警或预测已经不是简单的基于某一个阈值进行,而是需要通过将一个或多个设备产生的数据流进行实时聚合计算,不只是基于一个时间点、而是基于一个时间窗口进行计算。不仅如此,计算的需求也相当复杂,因场景而异,应容许用户自定义函数进行计算。

6.数据订阅

需要支持数据订阅。与通用大数据平台比较一致,同一组数据往往有很多应用都需要,因此系统应该提供订阅功能,只要有新的数据更新,就应该实时提醒应用。而且这个订阅也应该是个性化的,容许应用设置过滤条件,比如只订阅某个物理量五分钟的平均值。

免费直播

    精选课程
    相关推荐
    大数据开发具体要怎样学习?
    梦老师 大数据工程师

    1、编程语言的学习

    对于零基础的同学,一开始入门可能不会太简单。因为需要掌握一门计算机的编程语言,大家都知道计算机编程语言有很多,比如:R,C++,JAVA等等。建议从Java入手,容易学而且很好用,Java只需理解一些基本的概念,就可以用它编写出适合于各种情况的应用程序。现在一般也都是从JAVA开始学起,这相当于也是一个基础。

    2、大数据相关技术的学习

    学完了编程语言之后,一般就可以进行大数据部分的学习了。一般来说,学习大数据部分的时间比学习Java的时间要更长,JAVA算作学习大数据要学习的一部分,除此之外学习大数据还需要学习其他相关类型的数据知识。大数据部分,包括Hadoop 、Spark、Storm开发、Hive 数据库、Linux 操作系统等知识,还要熟悉大数据处理和分析技术。如果要完整的学习大数据的话,这些都是必不可少的。

    3、项目实战阶段

    学习任何一门技术,除了理论知识,项目的实战训练也是非常重要的,进行一些实际项目的操作练手,可以帮助我们更好的理解所学的内容,同时对于相关知识也能加强记忆,在今后的运用中,也可以更快的上手,对于相关知识该怎么用也有了经验。在项目实战中,遇到问题最好积极动手记录下来,这样才能更好的去解决你遇到的问题。

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司