熟悉数据挖掘和机器学习的小伙伴们都知道，数据处理相关的工作时间占据了整个项目的70%以上。数据的质量，直接决定了模型的预测和泛化能力的好坏。它涉及很多因素，包括：准确性、完整性、一致性、时效性、可信性和解释性。而在真实数据中，我们拿到的数据可能包含了大量的缺失值，可能包含大量的噪音，也可能因为人工录入错误导致有异常点存在，非常不利于算法模型的训练。数据清洗的结果是对各种脏数据进行对应方式的处理，得到标准的、干净的、连续的数据，提供给数据统计、数据挖掘等使用。

1.数据、信息和知识是广义数据表现的不同形式。

2.主要知识模式类型有：广义知识，关联知识，类知识，预测型知识，特异型知识

3.web挖掘研究的主要流派有：Web结构挖掘、Web使用挖掘、Web内容挖掘

4.一般地说，KDD是一个多步骤的处理过程，一般分为问题定义、数据抽取、数据预处理、.数据挖掘以及模式评估等基本阶段。

5.数据库中的知识发现处理过程模型有：阶梯处理过程模型，螺旋处理过程模型，以用户为中心的处理结构模型，联机KDD模型，支持多数据源多知识模式的KDD处理模型

6.粗略地说，知识发现软件或工具的发展经历了独立的知识发现软件、横向的知识发现工具集和纵向的知识发现解决方案三个主要阶段，其中后面两种反映了目前知识发现软件的两个主要发展方向。

7.决策树分类模型的建立通常分为两个步骤：决策树生成，决策树修剪。

1、为什么分析?

首先，你得知道为什么分析?弄清楚此次数据分析的目的。比如，什么类型的客户交货期总是拖延。你所有的分析都的围绕这个为什么来回答。避免不符合目标反复返工，这个过程会很痛苦。

2、分析目标是谁?

要牢记清楚的分析因子，统计维度是金额，还是产品，还是供应商行业竞争趋势，还是供应商规模等等。避免把金额当产品算，把产品当金额算，算出的结果是差别非常大的。

3、想达到什么效果?

通过分析各个维度产品类型，公司采购周期，采购条款，找到真正的问题。例如这次分析的薄弱环节供应商，全部集中采购，和保持现状，都不符合利益最大化原则。通过分析，找到真正的问题根源，发现精细化采购管理已经非常必要了。

4、需要哪些数据?

采购过程涉及的数据，很多，需要哪些源数据?采购总额?零部件行业竞争度?货款周期?采购频次?库存备货数?客户地域因子?客户规模?等等列一个表。避免不断增加新的因子。

5、如何采集?

数据库中供应商信息采集,平时供应商各种信息录入,产品特性录入等,做数据分析一定要有原料,否则巧妇难为无米之炊。

6、如何整理?

整理数据是门技术活。不得不承认EXCEL是个强大工具，数据透视表的熟练使用和技巧，作为支付数据分析必不可少，各种函数和公式也需要略懂一二，避免低效率的数据整理。Spss也是一个非常优秀的数据处理工具，特别在数据量比较大，而且当字段由特殊字符的时候，比较好用。

7、如何分析?

整理完毕，如何对数据进行综合分析，相关分析?这个是很考验逻辑思维和推理能力的。同时分析推理过程中，需要对产品了如指掌，对供应商很了解，对采购流程很熟悉。看似一个简单的数据分析，其实是各方面能力的体现。首先是技术层面，对数据来源的抽取-转换-载入原理的理解和认识;其实是全局观，对季节性、公司等层面的业务有清晰的了解;最后是专业度，对业务的流程、设计等了如指掌。练就数据分析的洪荒之力并非一朝一夕之功，而是在实践中不断成长和升华。一个好的数据分析应该以价值为导向，放眼全局、立足业务，用数据来驱动增长。

8、如何展现和输出?

数据可视化也是一个学问。如何用合适的图表表现?每一种图表的寓意是什么?下面列举下常用的8个图表：

1)折线图：合适用于随时间而变化的连续数据，例如随时间收入变化，及增长率变化。

2)柱型图：主要用来表示各组数据之间的差别。主要有二维柱形图、三维柱形图、圆柱图、圆锥图和棱锥图。

3)堆积柱形图：堆积柱形图不仅可以显示同类别中每种数据的大小，还可以显示总量的大小。

4)线-柱图：这种类型的图不仅可以显示出同类别的比较，还可以显示出趋势情况。

5)条形图：类似于横向的柱状图，和柱状图的展示效果相同，主要用于各项类的比较。

6)饼图：主要显示各项占比情况。饼图一般慎用，除非占比区别非常明显。因为肉眼对对饼图的占比比例分辨并不直观。而且饼图的项，一般不要超过6项。6项后建议用柱形图更为直观。

7)复合饼图：一般是对某项比例的下一步分析。

8)母子饼图：可直观地分析项目的组成结构与比重

图表不必太花哨，一个表说一个问题就好。用友好的可视化图表，节省阅读者的时间，也是对阅读者的尊重。

有一些数据，辛辛苦苦做了整理和分析，最后发现对结论输出是没有关系的，虽然做了很多工作，但不能为了体现工作量而堆砌数据。

在展现的过程中，请注明数据的来源，时间，指标的说明，公式的算法，不仅体现数据分析的专业度，更是对报告阅读者的尊重。