1. Apache Hive

Hive是一个建立在Hadoop上的开源数据仓库基础设施，通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了方便。

2. Apache Spark

Apache Spark是Hadoop开源生态系统的新成员。它提供了一个比Hive更快的查询引擎，因为它依赖于自己的数据处理框架而不是依靠Hadoop的HDFS服务。同时，它还用于事件流处理、实时查询和机器学习等方面。

3. Jaspersoft BI 套件

Jaspersoft包是一个通过数据库列生成报表的开源软件。行业领导者发现Jaspersoft软件是一流的,许多企业已经使用它来将SQL表转化为pdf,，这使每个人都可以在会议上对其进行审议。另外，JasperReports提供了一个连接配置单元来替代HBase。

4. Keen IO

Keen IO是个强大的移动应用分析工具。开发者只需要简单到一行代码， 就可以跟踪他们想要的关于他们应用的任何信息。开发者接下来只需要做一些Dashboard或者查询的工作就可以了。

5. Mortar Data

Mortar Data是专为开发者打造的Hadoop开发平台，它用Pig和Python的组合替代了MapReduce以便开发者能简单地编写Hadoop管道(Pipeline)。

1、熟练精通至少一门编程语言

掌握Java是必不可少的，要是能同时熟悉Python、Scala就更好了。

2、掌握Linux操作系统

百分之八十以上的企业使用Linux操作系统进行云计算、大数据平台的构建，所以做大数据开发，Linux必备。

3、掌握大数据主流框架及组件

主要是Hadoop、Spark、Storm、Flink等一系列框架，及其生态圈组件，这部分是重中之重。

软实力，就相对来说要虚一些了，逻辑思维能力、沟通能力、学习能力等等，通常在HR面试的时候，主要就是考察这些方面。

1、分类

检查未知分类或暂时未知分类的数据，目的是预测数据属于哪个类别或属于哪个类别。使用具有已知分类的相似数据来研究分类规则，然后将这些规则应用于未知分类数据。

2、预测

预测是指对数字连续变量而不是分类变量的预测。

3、关联规则和推荐系统

关联规则或关联分析是指在诸如捆绑之类的大型数据库中找到一般的关联模式。

在线推荐系统使用协作过滤算法，该协作过滤算法是基于给定的历史购买行为，等级，浏览历史或任何其他可测量的偏好行为或什至其他用户购买历史的方法。协同过滤可在单个用户级别生成“购买时可以购买的东西”的购买建议。因此，在许多推荐系统中使用了协作过滤，以向具有广泛偏好的用户提供个性化推荐。

4、预测分析

预测分析包括分类，预测，关联规则，协作过滤和模式识别(聚类)之类的方法。