统计分析学习之数值分析方法
统计分析学习之数值分析方法
最近补了一些统计学的知识，大多都在这些年的学习中接触过，这里做个总结，以便回头方便看。
从以下几个方面对数值进行分析：
数值的位置
平均数与中位数
这个最常见的就是平均值和中位数了，平均值指的是数据在数值上的中心位置，是所有数和的平均，而中位数是一个样本序列在数值上的中间，序列长度为奇数是，中位数就是最中间的那个。我们可以吧平均数理解为样本序列在数学上的中间位置，把中位数理解为样本序列在物理上的中间位置。
加权平均数
权值对于学过算法或者图论的小伙伴都不陌生，权值不同则认为每个数据的权值（可以简单理解为重要性）不同，在上边提到的平均数中是认为每个数的权值相同。那加权平均数就是求平均时对每个数值乘上了他的权值。ps,加权的样本序列就比普通的样本序列多了一维的信息量。
几何平均数
这是个很有意思的平均数，在之前并没有接触过，它是n个数值乘积的n次方根，既然是几何平均数，那小伙伴们可以把它放在欧几里得空间来理解它的意义。
众数
样本序列中出现次数最多的数，这个在一些基本算法的面试题中经常出现，比如怎么在海量数据中找出重复次数最多的一个？（这个主要是采用分而治之的思想，外加hash等方法，有兴趣的可以百度一下）
四分位数
四分位数是百分位数的一种特殊情况，但是这个数值的位置具有比较高的工程使用价值，在统计分析中出现频率很高，比如后边用到的箱形分析法等跟此关系很大。
数值的离散程度
数据的离散程度也可以成为数据的变异程度，学过聚类算法的小伙伴说离散程度应该比变异程度更容易理解一些。有极差、四分位数间距、方差、标准差等指标（MAE、MSE等指标对机器学习的小伙伴应该都不陌生）。这个变异程度可以放在欧几里得几何空间来理解，都是描述数值之间分散的程度。注意：1.极值是最容易计算的，但是它比较容易受到异常值影响，单独计算时的工程意义并不大。2.四分位数间距能很好的避免异常值影响，甚至能进一步的检测异常值。（箱形法）3.样本方差是总体方差的无偏估计，标准差是方差的正平方根。
分布形态和相对位置
偏度
偏度是分布形态的最常用度量。偏度的计算公式这里就不贴出来了，也可以通过平均数和中位数的关系来判断偏度。其关系如下所示：偏度为正值 = 数据右偏 = （平均数>中位数）偏度为0 = 数据对称 = （平均数=中位数）偏度为负值 = 数据左偏 = （平均数<中位数）
切比雪夫定理
学概率论的时候都接触过这个，这里就不做过多解释。他能帮我们指出与平均数的距离在某个特定个数的标准差之内的数据值所占的比例。（与平均数的距离在z个标准差之内的数据项所占比例至少为（1-1/z^2），其中z是大于1的任何实数）。异常点的检测
异常点也成为离群点（outlier），对于机器学习的小伙伴也不陌生，在统计工程上常用的方法有简单的统计量分析，比如最大值最小值是否超出合理的范围，还有就是比较经典的箱形法。
以上方法是基于统计的方法，其在多维数据上表现的很无力。除此之外还有基于位置，基于偏差和基于密度的方法。还有一些比较新的论文，是基于信息熵（Correntropy）和深度学习的异常点检测算法。有兴趣的小伙伴可以下一些论文看看。
