问答详情

让大数据分析更有效的5种技术措施有哪些?

1446次观看
标签: 大数据分析 大数据分析更有效技术措施
老师回答

(1)优化数据收集

数据收集是最终导致业务决策的事件链中的第一步,确保收集的数据和业务感兴趣的指标的相关性非常重要。

定义对企业有影响的数据类型,以及分析如何增加价值。基本上,考虑客户行为,以及这将对企业的业务有何适用性,然后使用此数据进行分析。

存储和管理数据是数据分析中的重要一步。因此,必须保持数据质量和分析效率。

(2)清除垃圾数据

垃圾数据是大数据分析的祸患。这包括不准确,冗余或不完整的客户信息,可能会对算法造成严重破坏,并导致分析结果不佳。根据垃圾数据做出的决策可能会带来麻烦。

清洁数据至关重要,涉及丢弃不相关的数据,只保留高品质的数据,当前,为了获得完整和相关的数据,人工干预不是理想的模式,不可持续并且受主观影响,因此数据库本身需要被清理。这种类型的数据以各种方式渗透到系统中,其中包括随时间推移而变化,如更改客户信息或数据仓库中存储可能会损坏数据集。垃圾数据可能会对营销和潜在客户生产等行业产生明显的影响,但通过基于故障信息的业务决策,财务和客户关系也会受到不利影响。其后果也是广泛的,包括挪用资源,浪费时间和精力。

解决垃圾数据难题的方法是确保数据进入系统得到干净的控制。具体来说,重复免费,完整和准确的信息。如今,那些具有专门从事反调试技术和清理数据的应用程序和企业,可以对任何对大数据分析感兴趣的公司进行调查。数据清洁是市场营销人员的首要任务,因为数据质量差的连锁效应可能会大大提高企业成本。

为了获得最大的数据量,企业必须花时间确保质量足以准确地查看业务决策和营销策略。

(3)标准化数据集

在大多数商业情况下,数据来自各种来源和各种格式。这些不一致可能转化为错误的分析结果,这将会大大扭曲统计推断结果。为了避免这种可能性,必须决定数据的标准化框架或格式,并严格遵守。

(4)数据整合

大多数企业如今组成不同的自治部门,因此许多企业都有隔离的数据存储库或数据“孤岛”。这是具有挑战性的,因为来自一个部门的客户信息的更改将不会转移到另一个部门,因此他们将根据不准确的源数据进行决策。

为了解决这个问题,采用中央数据管理平台是必要的,整合所有部门,从而确保数据分析的准确性更高,所有部门的任何变化都可以立即访问。

(5)数据隔离

即使数据干净,将其组织和集成在一起,也可能是分析问题。在这种情况下,将数据分成几组是有帮助的,同时牢记分析正在尝试实现什么。这样,可以分析子群体内的趋势,这些趋势可能更有意义并具有更大的价值。当查看可能与整个数据集可能无关的高度具体的趋势和行为时尤其如此。

数据质量对大数据分析至关重要。许多公司试图采用分析软件,但却没有考虑到进入系统做什么。这将导致不准确的推断和解释,可能代价昂贵,并且对企业造成损害。一个定义明确,管理良好的数据库管理平台是使用大数据分析的企业不可或缺的工具。

免费直播

    相关推荐
    数据分析惯用的5种思维方法是什么?
    刘老师 数据分析师

    一、对比法

    对比法就是用两组或两组以上的数据进行比较,是最通用的方法。

    我们知道孤立的数据没有意义,有对比才有差异。一些直接描述事物的变量,如长度、数量、高度、宽度等。通过对比得到比率数据,增速、效率、效益等指标,这才是数据分析时常用的。

    比如用于在时间维度上的同比和环比、增长率、定基比,与竞争对手的对比、类别之间的对比、特征和属性对比等。对比法可以发现数据变化规律,使用频繁,经常和其他方法搭配使用。

    二、象限法

    通过对两种及以上维度的划分,运用坐标的方式表达出想要的价值。由价值直接转变为策略,从而进行一些落地的推动。象限法是一种策略驱动的思维,常于产品分析、市场分析、客户管理、商品管理等。

    三、二八法/帕累托分析

    二八法也可以叫帕累托法则,源于经典的二八法则。比如在个人财富上可以说世界上20%的人掌握着80%的财富。而在数据分析中,则可以理解为20%的数据产生了80%的效果需要围绕这20%的数据进行挖掘。往往在使用二八法则的时候和排名有关系,排在前20%的才算是有效数据。二八法是抓重点分析,适用于任何行业。找到重点,发现其特征,然后可以思考如何让其余的80%向这20%转化,提高效果。

    一般地,会用在产品分类上,去测量并构建ABC模型。比如某零售企业有500个SKU以及这些SKU对应的销售额,那么哪些SKU是重要的呢,这就是在业务运营中分清主次的问题。

    常见的做法是将产品SKU作为维度,并将对应的销售额作为基础度量指标,将这些销售额指标从大到小排列,并计算截止当前产品SKU的销售额累计合计占总销售额的百分比。

    百分比在 70%(含)以内,划分为 A 类。

    百分比在 70~90%(含)以内,划分为 B 类。

    百分比在 90~100%(含)以内,划分为 C 类。

    以上百分比也可以根据自己的实际情况调整。

    ABC分析模型,不光可以用来划分产品和销售额,还可以划分客户及客户交易额等。比如给企业贡献80%利润的客户是哪些,占比多少。假设有20%,那么在资源有限的情况下,就知道要重点维护这20%类客户。

    四、漏斗法

    漏斗法即是漏斗图,有点像倒金字塔,是一个流程化的思考方式,常用于像新用户的开发、购物转化率这些有变化和一定流程的分析中。

    五、公式法

    所谓公式法就是针对某个指标,用公式层层分解该指标的影响因素。

    举例:分析某产品的销售额较低的原因,用公式法分解:

    ①某产品销售额=销售量 X 产品单价

    ②销售量=渠道A销售量 + 渠道B销售量 + 渠道C销售量 + …

    ③渠道销售量=点击用户数 X 下单率

    ④点击用户数=曝光量 X 点击率

    第一层:找到产品销售额的影响因素。某产品销售额=销售量 X 产品单价。是销量过低还是价格设置不合理?

    第二层:找到销售量的影响因素。分析各渠道销售量,对比以往,是哪些过低了。

    第三层:分析影响渠道销售量的因素。渠道销售量=点击用户数X 下单率。是点击用户数低了,还是下单量过低。如果是下单量过低,需要看一下该渠道的广告内容针对的人群和产品实际受众符合度高不高。

    第四层:分析影响点击的因素。点击用户数=曝光量X点击率。是曝光量不够还是点击率太低,点击率低需要优化广告创意,曝光量则和投放的渠道有关。

    通过对销售额的逐层拆解,细化评估以及分析的粒度。

    公式拆解法是针对问题的层级式解析,在拆解时,对因素层层分解,层层剥尽。

    提升企业数据分析能力的技术有哪些?
    刘老师 数据分析师

    1.回归分析

    当您需要进行预测和预测未来趋势时, 回归分析是很好的工具。回归测量因变量 (要测量的变量) 和自变量 (用于预测因变量的数据) 之间的关系。虽然你只能有一个因变量, 但你可以有几乎无限数量的独立变量。回归还可以帮助您发现运营中可以通过突出趋势和因素之间的关系来优化的业务点。

    2.假设检验

    这种分析方法也称为“T 测试”, 可将所拥有的数据与假设进行比较。它还可以预测可能做出的决策将如何影响您的业务。T 测试可以比较两个变量, 以找到相关性, 并根据结果做出决策。例如, 实际业务中可能会假设更多的工作时间相当于更高的生产率。在实施延长工作时间之前, 重要的是要确保有真正的效果, 以避免造成不好的反作用。

    3.蒙特卡洛模拟

    作为计算不可预知变量对特定因子影响的最常用方法之一, 蒙特卡罗模拟使用概率建模来帮助预测风险和不确定性。为了测试假设或场景, 蒙特卡洛模拟将使用随机数和数据, 根据任何结果对任何情况进行各种可能的结果进行分析。这是一个非常有用的数据分析方法,可以跨越多个领域应用,包括项目管理、财务、工程、物流等等。通过测试各种可能性,可以了解随机变量如何影响您的计划和项目。

    4.内容分析

    这种方法有助于了解定性数据中出现的总体主题。使用词云图颜色编码特定主题和想法等技术有助于分析文本数据,以找到最常见的线程。在处理用户反馈、访谈数据、开放式调查等数据时,内容分析可以很好地工作。这有助于确定需要改进的最重要领域。

    5.叙事分析

    叙事分析主要包含五个要素,即行动(act)、场景(scene)、行动者(agent)、能动性(agency)和目的(purpose)。这种分析侧重于故事和想法在整个公司的沟通方式,可以帮助你更好地了解组织文化。这可能包括解释员工对其工作的感受、客户对组织的看法以及如何查看运营流程。它在考虑改变企业文化或规划新的营销策略时非常有用。

    没有统计分析的黄金标准,也没有绝对正确的方法。选择的方法应始终反映收集的数据以及要提取的解决方案类型。匹配正确的数据和分析有助于发现更好的方案,以优化企业的业务,对企业业务进行数字化变革。

    数据挖掘要解决的问题有哪些?
    刘老师 数据分析师

    1.可伸缩

    由于数据产生和采集技术的进步,数太字节(TB)、数拍字节(PB)甚至数艾字节(EB)的数据集越来越普遍。如果数据挖掘算法要处理这些海量数据集,则算法必须是可伸缩的。许多数据挖掘算法采用特殊的搜索策略来处理指数级的搜索问题。为实现可伸缩可能还需要实现新的数据结构,才能以有效的方式访问每个记录。

    例如,当要处理的数据不能放进内存时,可能需要核外算法。使用抽样技术或开发并行和分布式算法也可以提高可伸缩程度。

    2.高维性

    现在,常常会遇到具有成百上千属性的数据集,而不是几十年前常见的只具有少量属性的数据集。在生物信息学领域,微阵列技术的进步已经产生了涉及数千特征的基因表达数据。具有时间分量或空间分量的数据集也通常具有很高的维度。

    例如,考虑包含不同地区的温度测量结果的数据集,如果在一个相当长的时间周期内反复地测量,则维数(特征数)的增长正比于测量的次数。为低维数据开发的传统数据分析技术通常不能很好地处理这类高维数据,如维灾难问题。此外,对于某些数据分析算法,随着维数(特征数)的增加,计算复杂度会迅速增加。

    3.异构数据和复杂数据

    通常,传统的数据分析方法只处理包含相同类型属性的数据集,或者是连续的,或者是分类的。随着数据挖掘在商务、科学、医学和其他领域的作用越来越大,越来越需要能够处理异构属性的技术。

    近年来,出现了更复杂的数据对象。这种非传统类型的数据如:含有文本、超链接、图像、音频和视频的Web和社交媒体数据,具有序列和三维结构的DNA数据,由地球表面不同位置、不同时间的测量值(温度、压力等)构成的气候数据。

    为挖掘这种复杂对象而开发的技术应当考虑数据中的联系,如时间和空间的自相关性、图的连通性、半结构化文本和XML文档中元素之间的父子关系。

    4.数据的所有权与分布

    有时,需要分析的数据不会只存储在一个站点,或归属于一个机构,而是地理上分布在属于多个机构的数据源中。这就需要开发分布式数据挖掘技术。分布式数据挖掘算法面临的主要挑战包括:

    如何降低执行分布式计算所需的通信量?如何有效地统一从多个数据源获得的数据挖掘结果?如何解决数据安全和隐私问题?

    5.非传统分析

    传统的统计方法基于一种假设检验模式,即提出一种假设,设计实验来收集数据,然后针对假设分析数据。但是,这一过程劳力费神。当前的数据分析任务常常需要产生和评估数千种假设,因此需要自动地产生和评估假设,这促使人们开发了一些数据挖掘技术。

    此外,数据挖掘所分析的数据集通常不是精心设计的实验的结果,并且它们通常代表数据的时机性样本(opportunistic sample),而不是随机样本(random sample)。

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司