企业大数据项目实施过程中遇到的那些挑战

说到大数据，人们很多还停留在概念的阶段，不过对于一些企业来说，大数据已经就在眼前，业务的需求驱使着IT部门不得不去做大数据的分析与处理。企业需要大数据的分析和处理，但是大数据并不是想象中的那么简单，在实际部署实施的过程中会遇到很多方面的问题。

    尤其是目前社交网络的兴起带来了更多的数据量，企业需要面对的挑战就越来越高，因为社交网络的数据本身就是一个无底洞。一位企业CTO说：“目前我们的数据来源基本都是在社交网络上面，我么收集这些数据加以分析，帮助企业理解这些人的消费规律以及个人偏好。”

企业大数据项目遇到的那些挑战

　　这位CTO所在的团队运营着一个可以产生12亿美元的数据平台，以及每天超过400万人的PB级数据集群。所在团队的大数据环境中包括了大量的开源平台，他们所用的技术包括：Hadoop、HBase，Hive， ElasticSearch， Scala， Storm， Node.js以及其他的很多工具。这确实是一个非常严峻的挑战。

　　我们通过企业大数据项目的具体实施过程不难看出，在实施的过程中技术与人是最关键的两个问题。选择一个成熟的技术，并且让最合适的人来进行实施，这样才会有一个比较合理的结果。

　　目前，以及有不少的企业开始进行部署自己的大数据项目，下面我们就为大家总结一下企业在部署大数据项目过程中遇到的那些难题与挑战。

　　复杂的数据计算与存储

　　大数据，顾名思义海量的数据是不可避免的。这项对于传统的数据分析而言，大数据需要大量的存储空间来进行数据存储，现在数据的产生量已经不是人们所能想象的，传统的存储介质与存储方式并不能满足如此快速的数据产生量。换句话来说，看看新浪微博、Facebook每分钟产生的数据量你就会明白了，电商更是夸张，阿里双十一，百亿的交易额，这样的数据量需要具有针对性的数据存储方式。

　　而从项目的整体出发，只是存储并不能算得上大数据。在存储之后还需要对海量的数据进行分析与计算，只有最后得出的分析结果才会对企业有所帮助。存储只是万里长征的第一步，大数据处理团队需要弄清楚这些数据背后的价值，需要合理的对数据进行归档，并且数据价值是需要进行计算分析得出的，庞大的数据量需要更加庞大的计算能力才能完成。

　　技术的成熟度的挑战

　　开源技术就好比一只小狗，它很可爱，也很好。但你需要养活它。就目前的技术发展而言，开源的大数据技术还并不是十分成熟，商业的大数据解决方案价格有非常昂贵，所以对于大部分企业来讲，开源貌似是唯一的解决方向。但开源技术并不能很好的适应每一个企业的具体业务线，所以企业还要投入大量的技术力量进行维护与二次开发。开源技术是条可爱的小狗，但是你需要养活他。

　　许多大数据技术是在建工程。虽然基础技术日趋完善，管理和配置的工具都处于起步阶段，让IT专业人员做工作解决的差距。企业的IT团队不得不开发工具，从管理的角度，从工作流程的角度，从配置等不同的角度出发。

　　期待，努力发现人才

　　之前讲了，大数据需要成熟的技术以及合适的人来执行，这里指的合适的人是一个真正的数据分析专家。而这样的人往往是可遇而不可求的，除非你花重金去其他公司去挖人，而且还不能确定这个人是否能适应这个团队。

　　其实从技术的角度出发，大数据的技术与工具正在迅速发展，但是这些技术与工具只掌握在少数人的手里，并不能得到大规模的应用。所以对于企业来讲，大数据的技术与人同样重要。拥有了成熟稳定的技术，但是没有可以执行它的人，那么大数据项目也会相当危险，没准什么时候就成为了企业财政的累赘。

 想想模块化，准备投资

　　任何一个项目的组建都不可能是无成本的。每一个项目都会意味着人力与财力的投入。尤其是在大数据项目上，每一个关键的业务点都意味着大量的资源投入。相比于其他项目，大数据项目耗费的资源会更多，在基础设施上的投入，服务器、存储以及计算资源和开发人员的投入都是相当庞大的。

　　模块化的基础设施一直是重要的，因为它可以让IT团队能够处理的业务优先级的变化，并提供业务透明度。企业的IT团队有必要投资的管理和生产力工具。这就是20％，25％都集中在我的工程资源，生产力工具和工作流程管理。

　　将产品与业务线做对接

　　在企业中项目需要围绕着业务进行实施，再好的产品项目如果不能很好的与业务进行对接，也是不能实现其真正的价值。这很容易让大数据的专家紧密合作，产品专家和业务利弊谈，但它可以是难以贯彻的想法。越来越多在？？过去的几年中，我们已经给他们带来了起来，因为双方都需要了解的另一边。

　　在很多失败的案例中我们不难看出，企业大数据产品的最终失败原因有一条就是产品不能很好的服务于企业核心业务，这样就会导致大量投入的资源变成没有价值体现的投入。

　　而成功的大数据产品就不是这样子。一个成功的大数据分析产品可以为企业揭示风险并且识别新的商业机会，并且可以根据客户的喜好进行商业活动，并获得洞察客户情绪 - 然后与该公司分享成果。大数据展示业务和IT事件有助于创造一个时髦围绕大数据分析的潜力。

　　领导层到技术人的思想贯彻

　　这里说的还是与人有关，大数据项目在企业中算是一个牵动企业发展战略的大项目。这需要从企业领导层到开发人员的整体投入。企业花了很多的时间映射可以利用大数据在我们的承保和理赔流程，并回馈业务线。项目团队需要企业从领导层到技术层从上倒下的支持。ACE集团的督导委员会，负责领导公司的大数据议程。令人惊讶的是，它不是堆叠技术人员。“这是很难得的任何科技。有四个技术人员和大约20商界领袖在那个队。

　　关键的事情之一是投资建设第一的技能和资源，在我们开始这段旅程。如果没有，我们将不得不一个不可接受的滞后值回业务。一位成功部署大数据项目的CTO说。

把业务人员下放到项目中去

　　既然大数据项目是为了企业业务服务的，而对企业业务最为熟悉就是业务人员，在整个项目中业务人员的需求往往是必然的需求。

　　企业需要进行完全嵌入的做法，将一线的业务人员下派到项目的每一个关键环节。只要这样，整个项目完成之后才能更好的为业务服务。企业通过建立核心竞争力，搭配新的技能，在我们的业务统计人员，数据洗涤器，数据分析，工艺专家我们的赔款及承保专长。其实这是一只搭配的意识，分享知识，发展和创新，我们利用大数据帮助业务发展。

不要小看管理供应商或系统集成商

　　对于一些技术力量有限的企业来说，他们更喜欢寻找一个系统集成商或者方案供应商来进行外包。在这期间会进行方案招标，而每一家集成商的方案都不尽相同，而且没有一家可以提供即用的解决方案，对于供应商的管理也是一个挑战，整合所有不同的系统，将这些系统整合成为一个巨大的方案进行协同运行。

独立评估投资回报率

　　在很多企业中，使用大数据分析，改进和验证的营销活动的有效性。当大数据项目是成功的，每个人都希望它的一部分，当你走在你开始为公司创造新的收入，项目带来这么多钱，大家突然出来的木制品和希望声称。对于他的团队，问题解决了，当CFO加强仲裁，提供独立意见的投资回报率，公司就会更加承认大数据计划。 

    转变并不会在一夜之间发生。从多来源的数据采集，到通过深度分析获取洞察力，之间会是一段并不平坦的征程。毫无疑问，Hadoop等技术的日趋成熟，让企业用户可以更方便地、在更大的范围内收集业务的相关数据，但同时真正的挑战也会接踵而至。这就是如何高效地处理多来源的海量数据，并且为其找到适合的商业用途。