清洁数据至关重要，涉及丢弃不相关的数据，只保留高品质的数据，当前，为了获得完整和相关的数据，人工干预不是理想的模式，不可持续并且受主观影响，因此数据库本身需要被清理。这种类型的数据以各种方式渗透到系统中，其中包括随时间推移而变化，如更改客户信息或数据仓库中存储可能会损坏数据集。垃圾数据可能会对营销和潜在客户生产等行业产生明显的影响，但通过基于故障信息的业务决策，财务和客户关系也会受到不利影响。其后果也是广泛的，包括挪用资源，浪费时间和精力。

解决垃圾数据难题的方法是确保数据进入系统得到干净的控制。具体来说，重复免费，完整和准确的信息。如今，那些具有专门从事反调试技术和清理数据的应用程序和企业，可以对任何对大数据分析感兴趣的公司进行调查。数据清洁是市场营销人员的首要任务，因为数据质量差的连锁效应可能会大大提高企业成本。

为了获得最大的数据量，企业必须花时间确保质量足以准确地查看业务决策和营销策略。

(3)标准化数据集

在大多数商业情况下，数据来自各种来源和各种格式。这些不一致可能转化为错误的分析结果，这将会大大扭曲统计推断结果。为了避免这种可能性，必须决定数据的标准化框架或格式，并严格遵守。

(4)数据整合

大多数企业如今组成不同的自治部门，因此许多企业都有隔离的数据存储库或数据“孤岛”。这是具有挑战性的，因为来自一个部门的客户信息的更改将不会转移到另一个部门，因此他们将根据不准确的源数据进行决策。

为了解决这个问题，采用中央数据管理平台是必要的，整合所有部门，从而确保数据分析的准确性更高，所有部门的任何变化都可以立即访问。

(5)数据隔离

即使数据干净，将其组织和集成在一起，也可能是分析问题。在这种情况下，将数据分成几组是有帮助的，同时牢记分析正在尝试实现什么。这样，可以分析子群体内的趋势，这些趋势可能更有意义并具有更大的价值。当查看可能与整个数据集可能无关的高度具体的趋势和行为时尤其如此。

数据质量对大数据分析至关重要。许多公司试图采用分析软件，但却没有考虑到进入系统做什么。这将导致不准确的推断和解释，可能代价昂贵，并且对企业造成损害。一个定义明确，管理良好的数据库管理平台是使用大数据分析的企业不可或缺的工具。

如何高效的运用网站分析工具?

刘老师数据分析师

1、工具使用第一重：仅仅是页面流数据

很多人把工具生成的代码往网站页面上一贴，认为网站的跟踪代码配置就基本完成了。但事情并没有那么简单，分析系统中生成的跟踪代码只能简单的跟踪页面流的数据，比如访问数、浏览量、流量来源等等，用户与网站的交互行为比如表单提交、订单达成是无法跟踪得到的。

网站的跟踪代码应该要根据具体的网站业务需求来配置跟踪方案。在添加跟踪代码前需要相关的业务人员聚在一起讨论把数据跟踪需求整理出来，根据需求形成一个完成的跟踪方案，从而生成相应的跟踪代码并添加到网站中。

很多网站甚至是一部分电商网站都只是做到了这一步，但其实这远远没有把网站跟踪系统的功能发挥出来。

因为受限跟踪配置的内容，系统只能收集到页面流的数据，因此用户也只能简单地查看网站的访问数、页面的浏览量以及流量来源的相关数据，但用户来到了网站有没有一些非浏览量的交互行为，是否有产生订单或产生了哪些产品的订单，无从得知。因此也没有明确的指标用于指导网站优化和外部推广(仅有的跳出率是不够的)。

2、工具使用第二重：配置了目标或电子商务跟踪

有部分用户在页面流数据跟踪的基础上会增加目标与电子商务数据的跟踪配置，这就进入我们所说的“网站分析第二重”。

目标与电子商务数据是衡量网站绩效的重要指标。对于会员制的电商网站来说，一个非常重要的目标就是会员数据的增加，而电子商务销售则是网站的终极目标。对这两块数据进行跟踪，我们就可以很好地衡量网站与及流量来源的转化情况。

把目标与电子商务的数据跟踪起来后，我们就可以把转化的数据与流量来源及页面浏览行为相关联，我们就可以很好地分析网站流量来源与页面浏览行为的转化情况。从而知道从哪些流量来源过来的流量质量最高，哪些产品或页面的说服力更强可以吸引用户完成订单转化，这样我们就可以有针对性地增加那些转化率高的流量来源的流量，并对一些转化偏低的产品或页面进行优化。

3、工具使用第三重：完善了访问行为细节的跟踪与分析

在这个分类下你会较为注重对于用户行为细节的跟踪，从而配置相应的自定义事件跟踪。对于用户在网站上的一些行为我们可以系统性地进行跟踪，比如站内搜索、视频播放、文件下载、表单提交、404错误页面、导出链接的点击、评论提交等等行为我们都可以跟踪起来，从而更好地了解访客的访问行为以提升网站的访问体验和转化率。

如第二重的内容所说的，你可能会把注册成功作为网站的目标，除了跟踪注册提交成功的事件外，你还可以跟踪注册的方式(是否通过第三方工具帐号进行注册)、注册提交失败的次数与及失败的原因等等。

除了订单产生的数量，购买流程中每一步的微转化也是值得关注的，找出转化流程中的弱项和问题，想办法修复它，这对于销售的提升效果将是非常明显的。

对于电商网站来说，用户是否有点击站内广告的行为，从而购买广告推介的产品，我们要怎么完善我们的产品推荐系统，这些都需要数据作支持。

我们还强烈建议可以对站内搜索与搜索零结果(搜索结果的条目数量)的情况进行跟踪，从而衡量网站的产品或内容是否满足用户的搜索需求，从而增加相应的产品或内容以提升网站销售。而对于一个客服系统来说，优化好这一步，这有可能会大幅减少客服人员的工作量。

4、工具使用第四重：基于数据的网站优化—数据驱动营销

在前边三部分其实也应该把网站优化的工作纳入其中，但对于大多数公司来说，网站优化这一步大都做得不好或是做得不够系统。而网站优化是网站运营过程中不可或缺的一个重要环节。

很多人做的网站分析报告仅仅是停留在报告的层面而没有形成优化行动，这就失去了网站分析的意义。根据报告中提出的有效建议，可以考虑安排进行营销活动或页面内容的优化工作。

通过数据分析找出更优的推广渠道;同时对内容特别是着陆页面的内容进行A/B/N测试，找出最优的页面版本，这将可以有效地提升网站的转化率从而提升网站的销售!这是网站分析对于提升网站业绩的最直观体现。

数据挖掘工程师需要掌握的技能有哪些?

刘老师数据分析师

1、需要理解主流机器学习算法的原理和应用。

2、需要熟悉至少一门编程语言如(Python、C、C++、Java、Delphi等)。

3、需要理解数据库原理，能够熟练操作至少一种数据库(Mysql、SQL、DB2、Oracle等)，能够明白MapReduce的原理操作以及熟练使用Hadoop系列工具更好。

4、经典图书推荐：《数据挖掘概念与技术》、《机器学习实战》、《人工智能及其应用》、《数据库系统概论》、《算法导论》、《Web数据挖掘》、《 Python标准库》、《thinking in Java》、《Thinking in C++》、《数据结构》等。