熟悉数据挖掘和机器学习的小伙伴们都知道，数据处理相关的工作时间占据了整个项目的70%以上。数据的质量，直接决定了模型的预测和泛化能力的好坏。它涉及很多因素，包括：准确性、完整性、一致性、时效性、可信性和解释性。而在真实数据中，我们拿到的数据可能包含了大量的缺失值，可能包含大量的噪音，也可能因为人工录入错误导致有异常点存在，非常不利于算法模型的训练。数据清洗的结果是对各种脏数据进行对应方式的处理，得到标准的、干净的、连续的数据，提供给数据统计、数据挖掘等使用。

1、数据分析需要大量投资

如今，似乎对每一项新技术的投入都必须通过严格的财务支出的筛选过程。“它需要多少费用?”——是IT和业务经理在提议启动项目或部署新工具时需要首先考虑的问题之一。

有些人认为数据分析本质上是一项代价高昂的工作，因此仅限于拥有大量预算或大量内部资源的企业机构。但是事实并非如此，现在市场上有很多开源工具和其他工具能够帮助展示数据分析的价值;并且基于云系统的大数据架构，也会比传统的数据仓库便宜得多。你只需要明确内部数据存储以及要解决的问题，就可以轻松的在云上使用分析来解决业务问题。

此外，数据分析通常用于实现三个结果：提高流程效率、实现收入增长和主动进行风险管理，总的来说，数据分析在任何公司的应用中都带来了巨大的成本效益。

2、你需要“大数据”才能执行分析

对于许多人来说，大数据和分析的概念是相辅相成的，企业需要在执行分析之前收集大量数据，以便生成业务洞察，改进决策制定等。

当然，大数据分析的优势也很明确，拥有这些资源的公司利用大数据存储作为促进分析工作的一部分，获得了显着的竞争优势。但是大数据却并不是分析必不可少的搭配。

分析师需要特定的数据，而不是更多的数据。要想更好地支持决策和提高绩效，企业必须更多的考虑业务用户，确定他们需要访问哪些数据，如何呈现数据，而不是关注更多的数据。95%以上的用户会寻找和他们工作相关的信息来支持他们进行决策，来提高业务表现，所以企业需要以最简单的格式向他们提供这些信息，帮助他们快速定位重要信息。

3、分析消除了人类的偏见

自动化系统执行的方式不应该存在偏见，但技术是由人类建立的，因此消除所有偏见几乎是不可能的。

有些人认为分析和机器学习消除了人类的偏见，不幸的是，这并没有实现。算法和分析使用“训练数据”进行调整，并将重现“训练数据”所具有的任何特征，在某些情况下，这会在分析过程中引入良性偏见，但也有可能带来更严重的偏见——因为“算法这么说”并不意味着答案是公平的或者有用的。

4、最好的算法意味着绝对的胜利

事实证明，有了足够的数据，有时算法无关紧要。谷歌的工程师认为，数据有着不合理有效性 ，简单的统计模型，加上极大量的数据，比包含大量特征和总结的“智能优越模型”能输出更优质的结果。

因此，在某些情况下，只需处理更大量的数据就可以获得最佳效果。

5、算法是安全的

人们固执地信任统计模型和算法，并且随着分析程序的组织构建，他们会越来越依赖复杂的模型来支持决策。这或许是因为用户并不觉得他们有能力挑战模型，因此他们必须相信构建它们的“聪明人”。

比如，在过去的50到60年里，我们反复听到“人工智能将在20年内接管人类工作”的言论，现在也还是有人反复强调这种观点。在我们可以完全信任机器学习和它们输出的结果之前，还有很多事情要做。在那之前，我们需要挑战构建算法和模型的人，让他们解释如何得到答案。这并不是说我们不能依赖于结果，而是说我们需要透明度，这样我们才可以信任和验证分析结果。

1、为什么分析?

首先，你得知道为什么分析?弄清楚此次数据分析的目的。比如，什么类型的客户交货期总是拖延。你所有的分析都的围绕这个为什么来回答。避免不符合目标反复返工，这个过程会很痛苦。

2、分析目标是谁?

要牢记清楚的分析因子，统计维度是金额，还是产品，还是供应商行业竞争趋势，还是供应商规模等等。避免把金额当产品算，把产品当金额算，算出的结果是差别非常大的。

3、想达到什么效果?

通过分析各个维度产品类型，公司采购周期，采购条款，找到真正的问题。例如这次分析的薄弱环节供应商，全部集中采购，和保持现状，都不符合利益最大化原则。通过分析，找到真正的问题根源，发现精细化采购管理已经非常必要了。

4、需要哪些数据?

采购过程涉及的数据，很多，需要哪些源数据?采购总额?零部件行业竞争度?货款周期?采购频次?库存备货数?客户地域因子?客户规模?等等列一个表。避免不断增加新的因子。

5、如何采集?

数据库中供应商信息采集,平时供应商各种信息录入,产品特性录入等,做数据分析一定要有原料,否则巧妇难为无米之炊。

6、如何整理?

整理数据是门技术活。不得不承认EXCEL是个强大工具，数据透视表的熟练使用和技巧，作为支付数据分析必不可少，各种函数和公式也需要略懂一二，避免低效率的数据整理。Spss也是一个非常优秀的数据处理工具，特别在数据量比较大，而且当字段由特殊字符的时候，比较好用。

7、如何分析?

整理完毕，如何对数据进行综合分析，相关分析?这个是很考验逻辑思维和推理能力的。同时分析推理过程中，需要对产品了如指掌，对供应商很了解，对采购流程很熟悉。看似一个简单的数据分析，其实是各方面能力的体现。首先是技术层面，对数据来源的抽取-转换-载入原理的理解和认识;其实是全局观，对季节性、公司等层面的业务有清晰的了解;最后是专业度，对业务的流程、设计等了如指掌。练就数据分析的洪荒之力并非一朝一夕之功，而是在实践中不断成长和升华。一个好的数据分析应该以价值为导向，放眼全局、立足业务，用数据来驱动增长。

8、如何展现和输出?

数据可视化也是一个学问。如何用合适的图表表现?每一种图表的寓意是什么?下面列举下常用的8个图表：

1)折线图：合适用于随时间而变化的连续数据，例如随时间收入变化，及增长率变化。

2)柱型图：主要用来表示各组数据之间的差别。主要有二维柱形图、三维柱形图、圆柱图、圆锥图和棱锥图。

3)堆积柱形图：堆积柱形图不仅可以显示同类别中每种数据的大小，还可以显示总量的大小。

4)线-柱图：这种类型的图不仅可以显示出同类别的比较，还可以显示出趋势情况。

5)条形图：类似于横向的柱状图，和柱状图的展示效果相同，主要用于各项类的比较。

6)饼图：主要显示各项占比情况。饼图一般慎用，除非占比区别非常明显。因为肉眼对对饼图的占比比例分辨并不直观。而且饼图的项，一般不要超过6项。6项后建议用柱形图更为直观。

7)复合饼图：一般是对某项比例的下一步分析。

8)母子饼图：可直观地分析项目的组成结构与比重

图表不必太花哨，一个表说一个问题就好。用友好的可视化图表，节省阅读者的时间，也是对阅读者的尊重。

有一些数据，辛辛苦苦做了整理和分析，最后发现对结论输出是没有关系的，虽然做了很多工作，但不能为了体现工作量而堆砌数据。

在展现的过程中，请注明数据的来源，时间，指标的说明，公式的算法，不仅体现数据分析的专业度，更是对报告阅读者的尊重。