做数据分析,就一定会涉及到统计学的知识。我之前还推了一些统计学相关的基础知识。今天,我会分享7个我们很可能会用到的统计学中的数据分析方法。
描述统计是通过图表或数学方法,对数据资料进行整理、分析,并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。
描述统计分为集中趋势分析、离中趋势分析、相关分析三大部分。
集中趋势分析
集中趋势分析主要靠平均数、中数、众数等统计指标来表示数据的集中趋势。
离中趋势分析
离中趋势分析主要靠全距、四分差、平均差、方差(协方差:用来度量两个随机变量关系的统计量)、标准差等统计指标来研究数据的离中趋势。例如,我们想知道两个教学班的语文成绩中,哪个班级内的成绩分布更分散,就可以用两个班级的四分差或百分点来比较。
相关分析
相关分析探讨数据之间是否具有统计学上的关联性。
假设检验是用来判断样本与样本,样本与总体的差异是由抽样误差引起还是本质差别造成的统计推断方法。
假设检验可分为正态分布检验、正态总体均值分布检验、非参数检验三类。
正态分布检验
正态分布检验包括三类:JB检验、KS检验、Lilliefors检验,用于检验样本是否来自于一个正态分布总体。
正态总体均值分布检验
正态总体均值分布检验考察系统误差对测试结果的影响,从统计意义上来说,各样本均值之差应在随机误差允许的范围之内。反之,如果不同样本的均值之差超过了允许的范围,这就说明除了随机误差之外,各均值之间还存在系统误差,使得各均值之间出现了显著性差异。
分为两种情况:
T检验:主要用于样本含量较小,总体标准差未知的正态分布资料。它用T分布理论来推断差异发生的概率,从而判定两个平均数的差异是否显著。
U检验:一般用于大样本的平均值差异性检验,基于样本来自正态总体的假设。它是用标准正态分布的理论来推断差异发生的概率,从而比较两个平均数的差异是否显著。国外英文统计学大多采用Z检验。
非参数检验
非参数检验不考虑总体分布是否已知,仅应用样本观察值中一些非常直观的信息。适用情况包括:待分析数据不满足参数检验所要求的假定,因而无法应用参数检验;仅由一些等级构成的数据;所提的问题中并不包含参数;需要迅速得出结果时。它的主要方法包括:卡方检验、秩和检验、二项检验、游程检验、K-量检验、符号检验等。
相关分析是研究现象之间相互关系的主要方式之一,它可以将现象之间的关系大小与方向测定出来。相关关系的类型按照不同维度可分为:
按相关程度划分:完全相关、不相关、不完全相关。
按依存关系的表现形式划分:线性相关、非线性相关。
按相关方向划分:正相关、负相关。
按研究量划分:单相关、复相关。
相关关系的测定方法包括:散点图、相关系数等。
回归分析是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。它按照变量的多少和变量之间的关系类型,可分为多种回归:
一元线性回归分析
分析一个因变量与一个自变量之间的线性关系,常用统计指标包括: 平均数、增减量、平均增减量。
多元线性回归分析
分析多个自变量与一个因变量之间的线性关系,在实际统计分析中,一般利用软件对多元回归模型进行估计。
非线性回归分析
自变量与因变量之间因果关系的函数表达式是非线性的,非线性回归模型有很多包括对数曲线方程、反函数曲线方程、二次曲线方程、三次曲线方程、复合曲线方程、幂函数曲线方程 、S形曲线方程等均为非线性回归方程。
其它回归分析模型还有很多,之前有写过一篇回归分析的内容,想了解的小伙伴可以去看,这里就不赘述啦!
常见的10个回归分析模型算法,果断收藏
方差分析又称“变异数分析”或“F检验”,用于两个及两个以上样本均数差别的显著性检验。使用条件包括:各样本须是相互独立的随机样本;各样本来自正态分布总体;各总体方差相等。
根据所分析的试验因素个数多少,可分为:
单因素方差分析
用来研究一个控制变量的不同水平是否对观测变量产生了显著影响。这里,由于仅研究单个因素。
双因素方差分析
用来分析两个因素的不同水平对结果是否有显著影响,以及两因素之间是否存在交互效应。
聚类分析是一种探索性的分析,在分类的过程中,人们不必事先给出一个分类的标准,聚类分析能够从样本数据出发,将数据分类到不同的类或者簇。同一个簇中的对象有很大的相似性,而不同簇间的对象有很大的相异性。
聚类分析的计算方法主要有:
分裂法
首先创建k个划分,k为要创建的划分个数。然后利用一个循环定位技术通过将对象从一个划分移到另一个划分来帮助改善划分质量。典型的划分方法包括:k-means、k-medoids、CLARA、CLARANS、FCM等。
层次法
创建一个层次以分解给定的数据集,可以分为自上而下(分解)和自下而上(合并)两种操作方式。方法包括:BIRCH、CURE、ROCK、CHEMALOEN等。
基于密度的方法
根据密度完成对象的聚类。方法包括:DBSCAN、OPTICS等。
基于网格的方法
先将对象空间划分为有限个单元以构成网格结构,然后利用网格结构完成聚类。方法包括:STING、CLIQUE等。
基于模型的方法
假设每个聚类的模型并发现适合相应模型的数据。方法包括:COBWEB、CLASSIT等。
时间序列是同一现象在不同时间上的观察数据按时间先后顺序排列起来所得到的数列,也称为动态数列。时间序列的两个基本要素:现象所属的时间和反映现象在不同时间上的指标数值。
时间序列按排列指标的表现形式不同,可分为:
绝对数时间序列
指一系列同类的总量指标数据按时间先后顺序排列而形成的序列,反映现象在各个时期上达到的绝对水平。又分为:时点序列和时期序列。
相对数时间序列
指相对指标数值按时间先后顺序排列而形成的时间序列,主要反映的是客观现象数量对比关系的发展过程。
平均数时间序列
指一系列同类的平均指标数值依时间顺序排列形成的数列,主要反映的是客观现象一般水平的发展变化过程。又可分为:静态平均数时间序列和动态平均数时间序列。
时间序列的分析模型,按影响因素可划分为:
长期趋势的测定和分析方法:时距扩大法、移动平均法、最小二乘法。
季节变动的测定和分析方法:同期平均法、移动平均趋势剔除法。
循环变动的测定和分析方法:直接法和剩余法。
当然了,统计学远远不止这7种数据分析方法,还有很多其他方法值得我们深挖学习,如通径分析、因子分析、主成分分析等。如果以后要做数据分析,一定要学习更多统计学的基础知识。