大数据技术要掌握的要点有哪些?

环球青藤 2021/01/11 02:58

Zookeeper:安装Hadoop的HA的时候就会用到它,以后的Hbase也会用到它。需要把它安装正确 ,让它正常的跑起来。

Mysql:在Linux上把它安装好,运行起来,会配置简单的权限,修改root密码,创建数据库。

Sqoop:这个是用于把Mysal里面的数据导入Hadoop里面。

Hive:和Pig同理,想要变得厉害可以都学习。

Oozie:可以帮你管理你的Hive或者MapReduce、Spark脚本还能检查你的程序执行的是否正确。

Hbase:这个是Hadoop生态体系中的NOSQL数据库,是按照key和value的形式存储的并且key是唯一的。所以可以帮你做数据排重,它与MYSQL相比存储的数据量大。

Kafka:这个是队列工具。可以利用它来做线上实时数据的入库或者是入HDFS,与Flume的工具配合使用,专门用来提供对数据进行简单处理。

Spark:这个工具是用来弥补MapReduce处理数据速度上的缺点,特点就是把数据装载到内存里面去计算。适合做迭代运算,Java语言或者Scala都可以操作它,他们都是用JVM的。

关于大数据技术要掌握的要点有哪些,青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。

免费直播

    精选课程 更多

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司