1、大数据开发工程师

开发，建设，测试和维护架构;负责公司大数据平台的开发和维护，负责大数据平台持续集成相关工具平台的架构设计与产品开发等。

2、数据分析师

收集，处理和执行统计数据分析;运用工具，提取、分析、呈现数据，实现数据的商业意义，需要业务理解和工具应用能力。

3、数据挖掘工程师

数据建模、机器学习和算法实现;商业智能，用户体验分析，预测流失用户等;需要过硬的数学和统计学功底以外，对算法的代码实现也有很高的要求。

4、数据架构师

需求分析，平台选择，技术架构设计，应用设计和开发，测试和部署;高级算法设计与优化;数据相关系统设计与优化，需要平台级开发和架构设计能力。

5、数据库开发

设计，开发和实施基于客户需求的数据库系统，通过理想接口连接数据库和数据库工具，优化数据库系统的性能效率等。

6、数据库管理

数据库设计、数据迁移、数据库性能管理、数据安全管理，故障检修问题、数据备份、数据恢复等。

7、数据科学家

数据挖掘架构、模型标准、数据报告、数据分析方法;利用算法和模型提高数据处理效率、挖掘数据价值、实现从数据到知识的转换。

8、数据产品经理

把数据和业务结合起来做成数据产品;平台线提供基础平台和通用的数据工具，业务线提供更加贴近业务的分析框架和数据应用。

1. Apache Hive

Hive是一个建立在Hadoop上的开源数据仓库基础设施，通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了方便。

2. Apache Spark

Apache Spark是Hadoop开源生态系统的新成员。它提供了一个比Hive更快的查询引擎，因为它依赖于自己的数据处理框架而不是依靠Hadoop的HDFS服务。同时，它还用于事件流处理、实时查询和机器学习等方面。

3. Jaspersoft BI 套件

Jaspersoft包是一个通过数据库列生成报表的开源软件。行业领导者发现Jaspersoft软件是一流的,许多企业已经使用它来将SQL表转化为pdf,，这使每个人都可以在会议上对其进行审议。另外，JasperReports提供了一个连接配置单元来替代HBase。

4. Keen IO

Keen IO是个强大的移动应用分析工具。开发者只需要简单到一行代码， 就可以跟踪他们想要的关于他们应用的任何信息。开发者接下来只需要做一些Dashboard或者查询的工作就可以了。

5. Mortar Data

Mortar Data是专为开发者打造的Hadoop开发平台，它用Pig和Python的组合替代了MapReduce以便开发者能简单地编写Hadoop管道(Pipeline)。

1、分类

检查未知分类或暂时未知分类的数据，目的是预测数据属于哪个类别或属于哪个类别。使用具有已知分类的相似数据来研究分类规则，然后将这些规则应用于未知分类数据。

2、预测

预测是指对数字连续变量而不是分类变量的预测。

3、关联规则和推荐系统

关联规则或关联分析是指在诸如捆绑之类的大型数据库中找到一般的关联模式。

在线推荐系统使用协作过滤算法，该协作过滤算法是基于给定的历史购买行为，等级，浏览历史或任何其他可测量的偏好行为或什至其他用户购买历史的方法。协同过滤可在单个用户级别生成“购买时可以购买的东西”的购买建议。因此，在许多推荐系统中使用了协作过滤，以向具有广泛偏好的用户提供个性化推荐。

4、预测分析

预测分析包括分类，预测，关联规则，协作过滤和模式识别(聚类)之类的方法。