如何进行网络数据挖掘

人们在访问某网站的同时，便提供了个人对网站内容的反馈信息：点击了哪一个链接，在哪里浏览时间最多，用了哪个搜索项、总体浏览时间、个人姓名和住址等。所有这些信息都被保存在一个数据库中。

    从数据库保存的信息来看，网站拥有了大量的网站访问者及其访问内容的信息，但拥有这些信息却不见得能够充分利用。借助数据仓库报告系统（一般称作在线分析处理系统），只能报告可直接观察到的和简单相关的信息，不能告诉网站信息模式及怎样对其进行处理，并且它很难深刻分析复杂信息，需要网站自已加工与处理。

    然而，厂商和商业分析员可以采用数据挖掘技术来解决上述问题，即通过机器学习算法，找到数据库中的隐含模式，报告结果或按照结果执行。对于数据挖掘技术，我们给厂商提供的最好帮助是：介绍数据挖掘技术所能解决的问题，详述数据挖掘技术，并深入讨论相关解决方案。

    认识访问者

    —- 为了让网站能够使用数据挖掘技术，厂商必须记录访问者特征及访问者所使用的条款特征。

    —- 访问者特征包括人口统计特征、心理特征和技术特征。人口统计特征是一些可变的属性，比如家庭地址、收入、购买力或所拥有的娱乐设备。心理特征包括通过心理调查发现的个性类型，比如对儿童的保护倾向、购买时的冲动性及早期的技术兴趣等。技术特征是指访问者的系统属性，比如所采用的操作系统、浏览器、域名和调制解调器的速度等等。

    —- 条款特征包括网络内容信息（介质类型、内容分类和URL）和产品信息（产品编号、产品目录、颜色、体积、价格、利润、数量和特价等级）等内容。

    —- 当访问者访问某网站时，有关访问者的数据便会被逐渐积累起来。访问者——条款的交互信息主要包括购买历史、广告历史和优选信息，其中，购买历史是一个购买产品和购买日期的目录；广告历史表明把哪一个条款展示给访问者；优选信息是指访问者访问的优先等级；点击流信息是访问者点击的超级链接的历史信息；链接机会是指提供给访问者的超级链接。访问者——网站统计信息是指每次会话的信息，比如总的访问时间、所浏览的网页及每次会话的利润等。访问者——公司信息包括一个访问者推荐客户的数量、每个月的访问次数及上一次的访问时间等，还包括商标评价，即访问者对商标正面或负面的评价，此信息可以通过周期性的厂商调查来获得。

    列出目标

    —- 在网上进行交易的最大优点是厂商可以更加有效地估计出访问者的反应。当厂商有明确的且可以量化的目标时，采用数据挖掘技术的效果最好。厂商可以考虑这样一些目标：增加每次会话的平均浏览页数；增加每次结账的平均利润；减少退货；增加顾客数量；提高商标知名度；提高回头率（比如在30天内重新回来的顾客的数量）；增加每次访问的结账次数。

    理解问题

    —- 解决问题的第一步是清楚地描述问题。通常，网络厂商需要解决的问题是如何寻找合适的广告人群、将网页个性化、把同时购买的货物放在同一个网页上、自动地把商品分类，找出同一类访问者的特征、估计货物丢失的数据并预测未来行为。所有这一切都涉及寻找并支持各种不同的隐含模式。

    寻找目标

    —- 厂商采用目标寻找技术，选择接收特定广告的人群，以增加利润，提高商标知名度，或增加其他可量化的收入。在网上进行目标寻找必须考虑各种不同的广告费用。

    —- 在一个访问者登记的网站上，登广告者可以根据地理信息确定广告目标。比如生活在一个国家不同地区或访问不同网站的人们常常具有不同的购物倾向，像购买不同运动队的队服等。因此，如果厂商将广告目标锁定最可能购买某产品的人群，就可能降低广告费用，并增加总利润。

    —- 采用数据挖掘技术可以帮助用户选定广告活动的目标标准。网络出版物有一套变量关系，通过它们可以选定广告目标。由于在直接的邮购活动中，目标选择被广泛使用，因此有许多不同的数据挖掘工具支持目标定位。

    人格化

    —- 厂商采用人格化的方法选择发给个人的广告，以取得最大成果。需要指出的是，本文所谈的“广告”一词泛指网站提供的任何建议或条款，即使一个简单的超级链接，也可以被认为是广告。

    —- 人格化与目标选择相反。目标选择功能是优化查看广告的人的类型，以降低广告费用。它对寻找那些还没有访问厂商站点的人很有作用。但是，在厂商的网站上进行目标选择是没有用的，所以，不如将自己的产品展示给访问网站的人看。

    —- 一些人格化网站需要厂商给访问者写下零售广告的规则，我们称之为基于规则的人格化系统。如果网站有历史信息，厂商可以从第三方购买数据挖掘工具来产生规则。通常，在提供的产品或服务有限的情况下厂商使用基于规则的人格化系统，比如保险业和金融机构。在那些地方，厂商只需写下少量的规则即可。

    —- 其他的人格化系统强调提供自动且实时的条款选择。这些系统常常在提供大量条款的情况下使用，比如服装、娱乐、办公设备和消费品等。厂商在面对成千上万的条款时会变得束手无策，在这种情况下，使用自动的系统更加有效。从大量的目录中进行人格化是非常复杂的，需要处理大量的数据。

    关联

    —- 关联是指确定在一次会话中最可能被购买或浏览的商品，又称市场分析。如果网站在网页中将这些条款放在一起，就可以提醒网站访问者购买或浏览可能忘记了的商品。如果在关联的一组商品中有某一项商品是特价，网站很可能会增加同组中其他商品的购买量。

    —- 当网站使用静态的目录网页时，也可以使用关联。在这种情况下，网站会依赖厂商选择的且是网站所要查看的第一页目录网页，并提供相关的条款。

    知识管理

    —- 这些系统设法确定和支持自然语言文件中的模式。一个更加确切的词是“文本分析”。第一步是将单词和文本与高层的概念相关联，可以通过使用相关概念标记了的文件来训练一个系统，并直接完成它。于是，系统为每一个概念建立了一个模式匹配器，当遇到新的概念时，模式匹配器会确定文档和那个概念的相关程度。

    —- 上述方法也可用于将未来的文档分类到已预先定义好的目录中。网站采用上述方法可为访问者建立自动的网址索引，新闻网站采用上述方法可以降低分类费用，此外，一些系统也采用上述方法自动总结关键问题，寻找相关的参考文档。

    —- 知识管理系统可以帮助网站创建自动的查询系统。比如发给客户支持E-mail信箱的请求可以被自动分类，从FAQ库中可以自动发出应答信息等。

    聚类

    —- 聚类有时也称分段，是指将具有相同特征的人归结为一组，将特征平均，以形成一个“特征矢量”或“矢心”。聚类系统通常使网站确定一组数据有多少类，并设法找出最能表示大多数数据的一组聚类。聚类被一些提供商用来直接提供不同访问者特征的报告。

    估计和预测

    —- 估计用来猜测未知值，预测用来估计未来值。估计和预测可以使用同样的算法。

    —- 估计通常用来填空。如果网站不知道某人的收入，可以通过与收入密切相关的量来估计，然后找到具有类似特征的其他人，利用他们来估计未知者的收入和信用值。

    —- 预测用来估计一个人重要的未来事项。在个性化应用中，网站可以使用这些值。

    —- 厂商常收集信息，以了解客户。即使从不同的方面来分析以往的事件，也可以提供许多有用的信息。这种简单的收集方法被称作在线分析处理（OLAP）系统。

    —- 预测可以和OLAP技术一起总结访问某网站人群的特点，从而使得厂商对数据进行剖析，找出是哪个条款或网站特征引起了最有价值的客户的注意力。

    决策树

    —- 决策树本质上是导致做出某项决策的问题或数据点的流程图。比如购买汽车的决策树可以从是否需要2000年的新型汽车开始，接着询问所需车型，然后询问用户需要动力型车还是经济型车等等，直到确定用户所需要的最好的车为止。决策树系统设法创建最优路径，将问题排序，这样，经过最少的步骤，便可以做出决定。

    —- 许多产品供应商在自己的产品选择系统中都制作了决策树系统。这对带着特定问题来访问网站的人来说十分重要。一旦做出某项决定，问题的答案对以后的目标选择或人格化作用便不大了。

    选择答案

    —- 数据挖掘技术并不适合胆怯的人。网站要面对3个主要问题：第一，许多优秀的数据挖掘专家是非常认真的；第二，很少有现成的解决方案；第三，有用的东西是非常昂贵的。

    —- 对于某个问题，可能有多种数据挖掘算法，但通常只有一个最好的算法。当网站选择了一个数据挖掘产品时，要弄清楚它的算法是否适合网站想解决的问题。

    —- 网络数据挖掘的世界既是地雷阵，同时又是金矿。通过保存与访问者、访问内容及交互操作相关的数据，至少可以保证网站以后可以使用它们。不管有多大困难，厂商可以从现在开始考虑评估和集成数据挖掘应用。