问答详情

大数据核心算法有哪些?

2831次观看
标签: 大数据核心算法 大数据
老师回答

1、A* 搜索算法——图形搜索算法,从给定起点到给定终点计算出路径。其中使用了一种启发式的估算,为每个节点估算通过该节点的最佳路径,并以之为各个地点排定次序。算法以得到的次序访问这些节点。因此,A*搜索算法是最佳优先搜索的范例。

2、集束搜索(又名定向搜索,Beam Search)——最佳优先搜索算法的优化。使用启发式函数评估它检查的每个节点的能力。不过,集束搜索只能在每个深度中发现最前面的m个最符合条件的节点,m是固定数字——集束的宽度。

3、二分查找(Binary Search)——在线性数组中找特定值的算法,每个步骤去掉一半不符合要求的数据。

4、分支界定算法(Branch and Bound)——在多种最优化问题中寻找特定最优化解决方案的算法,特别是针对离散、组合的最优化。

5、Buchberger算法——一种数学算法,可将其视为针对单变量最大公约数求解的欧几里得算法和线性系统中高斯消元法的泛化。

6、数据压缩——采取特定编码方案,使用更少的字节数(或是其他信息承载单元)对信息编码的过程,又叫来源编码。

7、Diffie-Hellman密钥交换算法——一种加密协议,允许双方在事先不了解对方的情况下,在不安全的通信信道中,共同建立共享密钥。该密钥以后可与一个对称密码一起,加密后续通讯。

8、Dijkstra算法——针对没有负值权重边的有向图,计算其中的单一起点最短算法。

9、离散微分算法(Discrete differentiation)。

免费直播

    相关推荐
    数据分析的5种细分方法有哪些?
    刘老师 数据分析师

    1.按时间细分

    时间可以细分为不同的跨度,包括年、月、周、日、时、分、秒等等,不同的时间跨度,数据表现可能大不相同。

    比如说,按照月度来看,产品的销量可能变化不大,但是如果细分到每一天,可能就有比较剧烈的变化,我们应该找到这些变化的数据,并分析变化背后的原因,而不是让它淹没在整月汇总数据的表象之中。

    2.按空间细分

    空间主要是指按地域进行划分,包括世界、洲、国家、省份、城市、区等等。

    比如说,把全国的 GDP 数据,细分到每一个省份。

    空间作为一个相对抽象的概念,也可以代表其他与业务相关的各种事物,比如产品、人员、类别等等,只要有助于理解事物的本质,都可以尝试拿来进行细分。

    3.按过程细分

    把业务细分为一些具体的过程,往往能够让复杂的问题简单化。

    比如说,把订单发货细分为 5 个过程,想办法提升每个过程的效率,从而缩短发货的时间。

    再比如,把用户的生命周期,细分为 5 个重要的过程,即:获取、激活、留存、盈利、推荐。

    4.按公式细分

    有时候一个指标,是可以用公式计算出来的。

    比如说,销售额 = 销售数量 * 平均单价,销售数量 = 新客户购买数量 + 老客户购买数量,以此类推。

    再比如,在财务分析中,权益净利率 = 资产净利率 * 权益乘数,其中:资产净利率 = 销售净利率 * 资产周转率,以此类推。

    5.按模型细分

    数据分析的模型有很多,我们可以根据业务的实际情况,选择合适的模型,在此基础上进行细分,得出相应的分析结论。

    比如说,按照波士顿矩阵,把企业产品细分为「市场占有率」和「销售增长率」两个维度,然后画一个四象限矩阵图,其中每个象限就代表一类产品,即:明星产品、金牛产品、瘦狗产品和问题产品,对每一类产品,分别建议采取不同的发展策略。

    再比如,按照 RFM 模型,把客户按三个维度进行细分,即:最近一次消费时间间隔(Recency)、消费频率(Frequency)和消费金额(Monetary),从而得到 8 种客户类别,从而有针对性地采取不同的营销策略。

    数据分析常见流程有哪些?
    刘老师 数据分析师

    1、为什么分析?

    首先,你得知道为什么分析?弄清楚此次数据分析的目的。比如,什么类型的客户交货期总是拖延。你所有的分析都的围绕这个为什么来回答。避免不符合目标反复返工,这个过程会很痛苦。

    2、分析目标是谁?

    要牢记清楚的分析因子,统计维度是金额,还是产品,还是供应商行业竞争趋势,还是供应商规模等等。避免把金额当产品算,把产品当金额算,算出的结果是差别非常大的。

    3、想达到什么效果?

    通过分析各个维度产品类型,公司采购周期,采购条款,找到真正的问题。例如这次分析的薄弱环节供应商,全部集中采购,和保持现状,都不符合利益最大化原则。通过分析,找到真正的问题根源,发现精细化采购管理已经非常必要了。

    4、需要哪些数据?

    采购过程涉及的数据,很多,需要哪些源数据?采购总额?零部件行业竞争度?货款周期?采购频次?库存备货数?客户地域因子?客户规模?等等列一个表。避免不断增加新的因子。

    5、如何采集?

    数据库中供应商信息采集,平时供应商各种信息录入,产品特性录入等,做数据分析一定要有原料,否则巧妇难为无米之炊。

    6、如何整理?

    整理数据是门技术活。不得不承认EXCEL是个强大工具,数据透视表的熟练使用和技巧,作为支付数据分析必不可少,各种函数和公式也需要略懂一二,避免低效率的数据整理。Spss也是一个非常优秀的数据处理工具,特别在数据量比较大,而且当字段由特殊字符的时候,比较好用。

    7、如何分析?

    整理完毕,如何对数据进行综合分析,相关分析?这个是很考验逻辑思维和推理能力的。同时分析推理过程中,需要对产品了如指掌,对供应商很了解,对采购流程很熟悉。看似一个简单的数据分析,其实是各方面能力的体现。首先是技术层面,对数据来源的抽取-转换-载入原理的理解和认识;其实是全局观,对季节性、公司等层面的业务有清晰的了解;最后是专业度,对业务的流程、设计等了如指掌。练就数据分析的洪荒之力并非一朝一夕之功,而是在实践中不断成长和升华。一个好的数据分析应该以价值为导向,放眼全局、立足业务,用数据来驱动增长。

    8、如何展现和输出?

    数据可视化也是一个学问。如何用合适的图表表现?每一种图表的寓意是什么?下面列举下常用的8个图表:

    1)折线图:合适用于随时间而变化的连续数据,例如随时间收入变化,及增长率变化。

    2)柱型图:主要用来表示各组数据之间的差别。主要有二维柱形图、三维柱形图、圆柱图、圆锥图和棱锥图。

    3)堆积柱形图:堆积柱形图不仅可以显示同类别中每种数据的大小,还可以显示总量的大小。

    4)线-柱图:这种类型的图不仅可以显示出同类别的比较,还可以显示出趋势情况。

    5)条形图:类似于横向的柱状图,和柱状图的展示效果相同,主要用于各项类的比较。

    6)饼图:主要显示各项占比情况。饼图一般慎用,除非占比区别非常明显。因为肉眼对对饼图的占比比例分辨并不直观。而且饼图的项,一般不要超过6项。6项后建议用柱形图更为直观。

    7)复合饼图:一般是对某项比例的下一步分析。

    8)母子饼图:可直观地分析项目的组成结构与比重

    图表不必太花哨,一个表说一个问题就好。用友好的可视化图表,节省阅读者的时间,也是对阅读者的尊重。

    有一些数据,辛辛苦苦做了整理和分析,最后发现对结论输出是没有关系的,虽然做了很多工作,但不能为了体现工作量而堆砌数据。

    在展现的过程中,请注明数据的来源,时间,指标的说明,公式的算法,不仅体现数据分析的专业度,更是对报告阅读者的尊重。

    数据挖掘的常用方法有哪些?
    刘老师 数据分析师

    1、决策树法

    决策树在解决归类与预测上有着极强的能力,它以法则的方式表达,而这些法则则以一连串的问题表示出来,经由不断询问问题最终能导出所需的结果。典型的决策树顶端是一个树根,底部有许多的树叶,它将纪录分解成不同的子集,每个子集中的字段可能都包含一个简单的法则。此外,决策树可能有着不同的外型,例如二元树、三元树或混和的决策树型态。

    2、神经网络法

    神经网络法是模拟生物神经系统的结构和功能,是一种通过训练来学习的非线性预测模型,它将每一个连接看作一个处理单元,试图模拟人脑神经元的功能,可完成分类、聚类、特征挖掘等多种数据挖掘任务。神经网络的学习方法主要表现在权值的修改上。其优点是具有抗干扰、非线性学习、联想记忆功能,对复杂情况能得到精确的预测结果;缺点首先是不适合处理高维变量,不能观察中间的学习过程,具有“黑箱”性,输出结果也难以解释;其次是需较长的学习时间。神经网络法主要应用于数据挖掘的聚类技术中。

    3、关联规则法

    关联规则是描述数据库中数据项之间所存在的关系的规则,即根据一个事务中某些项的出现可导出另一些项在同一事务中也出现,即隐藏在数据间的关联或相互关系。在客户关系管理中,通过对企业的客户数据库里的大量数据进行挖掘,可以从大量的记录中发现有趣的关联关系,找出影响市场营销效果的关键因素,为产品定位、定价与定制客户群,客户寻求、细分与保持,市场营销与推销,营销风险评估和诈骗预测等决策支持提供参考依据。

    4、遗传算法

    遗传算法模拟了自然选择和遗传中发生的繁殖、交配和基因突变现象,是一种采用遗传结合、遗传交叉变异及自然选择等操作来生成实现规则的、基于进化理论的机器学习方法。它的基本观点是“适者生存”原理,具有隐含并行性、易于和其他模型结合等性质。主要的优点是可以处理许多数据类型,同时可以并行处理各种数据;缺点是需要的参数太多,编码困难,一般计算量比较大。遗传算法常用于优化神经元网络,能够解决其他技术难以解决的问题。

    5、聚类分析法

    聚类分析是把一组数据按照相似性和差异性分为几个类别,其目的是使得属于同一类别的数据间的相似性尽可能大,不同类别中的数据间的相似性尽可能小。根据定义可以把其分为四类:基于层次的聚类方法;分区聚类算法;基于密度的聚类算法;网格的聚类算法。常用的经典聚类方法有K-mean,K-medoids,ISODATA等。

    6、模糊集法

    模糊集法是利用模糊集合理论对问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分析。模糊集合理论是用隶属度来描述模糊事物的属性。系统的复杂性越高,模糊性就越强。

    7、web页挖掘

    通过对Web的挖掘,可以利用Web的海量数据进行分析,收集政治、经济、政策、科技、金融、各种市场、竞争对手、供求信息、客户等有关的信息,集中精力分析和处理那些对企业有重大或潜在重大影响的外部环境信息和内部经营信息,并根据分析结果找出企业管理过程中出现的各种问题和可能引起危机的先兆,对这些信息进行分析和处理,以便识别、分析、评价和管理危机。

    8、逻辑回归分析

    反映的是事务数据库中属性值在时间上的特征,产生一个将数据项映射到一个实值预测变量的函数,发现变量或属性间的依赖关系,其主要研究问题包括数据序列的趋势特征、数据序列的预测以及数据间的相关关系等。

    9、粗糙集法

    是一种新的处理含糊、不精确、不完备问题的数学工具,可以处理数据约简、数据相关性发现、数据意义的评估等问题。其优点是算法简单,在其处理过程中可以不需要关于数据的先验知识,可以自动找出问题的内在规律;缺点是难以直接处理连续的属性,须先进行属性的离散化。因此,连续属性的离散化问题是制约粗糙集理论实用化的难点。

    10、连接分析

    它是以关系为主体,由人与人、物与物或是人与物的关系发展出相当多的应用。例如电信服务业可藉连结分析收集到顾客使用电话的时间与频率,进而推断顾客使用偏好为何,提出有利于公司的方案。除了电信业之外,愈来愈多的营销业者亦利用连结分析做有利于企业的研究。

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司