运筹学与数据分析实践数据分析部分相关分析的基本概念1二元相关分析2偏相关分析3距离相关分析4相关分析1相关分析的基本概念任何事物的变化都与其他事物是相互联系和相互影响的,用于描述事物数量特征的变量之间自然也存在一定的关系。变量之间的关系归纳起来可以分为两种类型,即函数关系和统计关系。当一个变量x取一定值时,另一变量y可以按照确定的函数公式取一个确定的值,记为y=f(x),则称y是x的函数,也就时说y与x两变量之间存在函数关系。又如,某种商品在其价格不变的情况下,销售额和销售量之间的关系就是一种函数关系:销售额=价格×销售量。函数关系是一一对应的确定性关系,比较容易分析和测度,可是在现实中,变量之间的关系往往并不那么简单。为了判断r对ρ的代表性大小,需要对相关系数进行假设检验。(1)首先假设总体相关性为零,即H0为两总体无显著的线性相关关系。(2)其次,计算相应的统计量,并得到对应的相伴概率值。如果相伴概率值小于或等于指定的显著性水平,则拒绝H0,认为两总体存在显著的线性相关关系;如果相伴概率值大于指定的显著性水平,则不能拒绝H0,认为两总体不存在显著的线性相关关系。相关系数的取值范围在−1和+1之间,即−1≤r≤+1。其中:若0<r≤1,表明变量之间存在正相关关系,即两个变量的相随变动方向相同;若−1≤r<0,表明变量之间存在负相关关系,即两个变量的相随变动方向相反;在实际中,因为研究目的不同,变量的类型不同,采用的相关分析方法也不同。比较常用的相关分析是二元相关分析、偏相关分析和距离分析。在二元变量的相关分析过程中比较常用的几个相关系数是Pearson简单相关系数、Spearman和Kendall'stau-b等级相关系数。Pearson简单相关系数用来衡量定距变量间的线性关系。2.1Pearson相关系数2二元相关分析定距变量,它的取值之间可以比较大小,可以用加减法计算出差异的大小。例如,“年龄”变量、“收入”变量、“成绩”变量等都是典型的定距变量。几种典型的Pearson相关系数及其散点图2.2SPSS中实现过程研究问题某班级学生数学和化学的期末考试成绩如表2-1所示,现要研究该班学生的数学和化学成绩之间是否具有相关性。2-1学生的数学和化学成绩人名数学化学hxh99.0090.00yaju88.0099.00yu65.0070.00shizg89.0078.00hah94.0088.00smith90.0088.00watet79.0075.00jess95.0098.00wish95.0098.00laly80.0099.00john70.0089.00chen89.0098.00david85.0088.00caber50.0060.00marry87.0087.00joke87.0087.00jake86.0088.00herry76.0079.00实现步骤Step01:选择菜单栏中的【Analyze(分析)】→【Correlate(相关)】→【Bivariate(双变量)】命令,弹出【BivariateCorrelations(双变量相关)】对话框,如图所示,这是简单相关检验的主操作窗口。实现步骤Step02:选择检验变量在【BivariateCorrelations(双变量相关)】对话框左侧的候选变量列表框中选择两个个或两个以上变量将其添加至【Variables(变量)】列表框中,表示需要进行简单相关分析的变量。Step03:选择相关系数类型图中的【CorrelationCoefficients(相关系数)】选项组中可以选择计算简单相关系数的类型。●Pearson:系统默认项,即积差相关系数,计算连续变量或是等间距测度的变量间的相关分析。●Kendall:等级相关,计算分类变量间的秩相关。●Spearman:等级相关,斯皮尔曼相关系数。对于非等间距测度的连续变量,因为分布不明可以使用等级相关分析,也可以使用Pearson相关分析;对于完全等级的离散变量必须使用等级相关分析相关性。当资料不服从双变量正态分布或总体分布型未知,或原始数据是用等级表示时,宜用Spearman或Kendall相关。实现步骤Step04:假设检验类型选择在图中的【TestofSignificance(显著性检验)】选项组中可以选择输出的假设检验类型,对应有两个单选项。●Twotailed:系统默认项。双尾检验,当事先不知道相关方向(正相关还是负相关)时选择此项。●Onetailed:单尾检验,如果事先知道相关方向可以选择此项。同时,可以勾选【FlagsignificantCorrelations(标记显著性相关)】复选框。它表示选择此项后,输出结果中对在显著性水平0.05下显著相关的相关系数用一个星号“*”加以标记;对在显著性水平0.01下显著相关的相关系数用两个星号“**”标记。Step05:单击【OK】按钮,结束操作,SPSS软件自动输出结果。从上述的Pearson相关系数表。可以看到,两个成绩的Pearson相关系数值为0.742;同时相伴概率P值明显小于显著性水平0.01,这说明两者中度正线性相关。结果和讨论2.3绘制相关散点图如果对变量之间的相关程度不需要掌握得那么精确,可以通过绘制变量的相关散点图来直接判断。仍以上例来说明。实现步骤Step01:选择菜单栏中的【图形】→【旧对话框】→【散点/点状】命令,弹出【散点图/点图】对话框,如图所示。Step02:选择【简单分布】→【定义】命令,弹出【简单散点图】对话框,如图所示。结果和讨论Step03:选择X轴和Y轴的对应变量,点击确定,在输出窗口得到这两个变量的简单散点图,如图所示。2.4Spearman相关系数Pearson线性相关系数必须假设数据是成对地从正态分布中取得的,并且数据至少在逻辑范畴内必须是等间距的数据。如果这两条件不符合,可采用Spearman秩相关系数来代替Pearson线性相关系数。Spearman秩相关系数用来度量顺序水准变量间的线性相关关系。它是利用两变量的秩次大小作线性相关分析,适用条件为:①两个变量的变量值是以等级次序表示的数据;②一个变量的变量值是等级数据,另一个变量的变量值是等距或比率数据,且其两总体不要求是正态分布,样本容量n不一定大于30。Spearman秩相关系数经常被称为非参数相关系数,这具有两层含义:第一,只要在X和Y具有单调的函数关系的关系,那么X和Y就是完全Spearman相关的,这与Pearson相关性不同,后者只有在变量之间具有线性关系时才是完全相关的。两外一个关于Spearman秩相关系数的非参数性的理解就是样本之间精确的分布可以在不知道X和Y的联合概率密度函数时获得。2.5SPSS中实现过程研究问题某语文老师先后两次对其班级学生同一篇作文加以评分,两次成绩分别记为变量“作文1”和“作文2”,数据如表2-2所示。问两次评分的等级相关有多大,是否达到显著水平?表2-2学生作文两次的得分情况人名作文1作文2hxh86.0083.00yaju78.0082.00yu62.0070.00shizg75.0073.00hah89.0092.00smith67.0065.00watet96.0093.00jess80.0085.00wish77.0075.00laly59.0065.00john79.0075.00chen68.0070.00david85.0080.00caber87.0075.00marry75.0080.00joke73.0078.00jake95.0090.00herry88.0090.00实现步骤只需在相关系数中选择Spearman即可,其他与Pearson相关分析相似,结果和讨论从上述的Spearman相关系数可以看到,这位老师两次的评分的正相关性较显著,说明这位老师两次批改结果还是较一致的3偏相关分析二元变量的相关分析在一些情况下无法较为真实准确地反映事物之间的相关关系。例如,在研究某农场春季早稻产量与平均降雨量、平均温度之间的关系时,产量和平均降雨量之间的关系中实际还包含了平均温度对产量的影响。同时平均降雨量对平均温度也会产生影响。在这种情况下,单纯计算简单相关系数,显然不能准确地反映事物之间地相关关系,而需要在剔除其他相关因素影响的条件下计算相关系数。偏相关分析正是用来解决这个问题的。定义:偏相关分析是指当两个变量同时与第三个变量相关时,将第三个变量的影响剔除,只分析另外两个变量之间相关程度的过程。偏相关分析的工具是计算偏相关系数r12,3。3.1统计学上的定义和计算公式3.2SPSS中实现过程研究问题某农场通过试验取得某农作物产量与春季降雨量和平均温度的数据,如表3-3所示。现求降雨量对产量的偏相关。表3-3早稻产量与降雨量和温度之间的关系产量降雨量温度150.0025.006.00230.0033.008.00300.0045.0010.00450.00105.0013.00480.00111.0014.00500.00115.0016.00550.00120.0017.00580.00120.0018.00600.00125.0018.00600.00130.0020.00实现步骤Step01:打开主菜单选择菜单栏中的【Analyze(分析)】→【Correlate(相关)】→【Partial(偏相关)】命令,弹出【PartialCorrelations(偏相关)】对话框,如下图所示,这是偏相关分析的主操作窗口。实现步骤Step02:选择检验变量在【BivariateCorrelations(偏相关)】对话框左侧的候选变量列表框中选择两个或两个以上变量,将其添加至【Variables(变量)】列表框中,表示需要进行偏相关分析的变量。Step03:选择控制变量在【BivariateCorrelations(偏相关)】对话框左侧的候选变量列表框中至少选择一个变量,将其添加至【Controllingfor(控制)】列表框中,表示在进行偏相关分析时需要控制的变量。注意如果不选入控制变量,则进行的是简单相关分析。Step04:假设检验类型选择在【TestofSignificance(显著性检验)】选项组中可以选择输出的假设检验类型,对应有以下两个选项。●Twotailed:系统默认项。双尾检验,当事先不知道相关方向(正相关还是负相关)时选择此项。●Onetailed:单尾检验,如果事先知道相关方向可以选择此项。同时,可以勾选【FlagsignificantCorrelations】复选框。它表示选择此项后,输出结果中对在显著性水平0.05下显著相关的相关系数用一个星号“*”加以标记;对在显著性水平0.01下显著相关的相关系数用两个星号“**”标记。实现步骤Step05:其他选项选择单击【选项】按钮,弹出的对话框用于指定输出内容和关于缺失值的处理方法,主要包括以下选项。①统计量:选择输出统计量。●均值和标准差:将输出选中的各变量的观测值数目、均值和标准差。●零阶相关系数:显示零阶相关矩阵,即Pearson相关矩阵。②缺失值:用于设置缺失值的处理方式。它有两种处理方式:●按对排除个案:系统默认项。剔除当前分析的两个变量值中缺失的个案。●按列表排除个案:表示剔除所有含缺失值的个案后再进行分析。Step06:相关统计量的Bootstrap估计单击【Bootstrap】按钮,在弹出的对话框中可以进行如下统计量的Bootstrap估计。●描述统计表支持均值和标准差的Bootstrap估计。●相关性表支持相关性的Bootstrap估计。Step07:单击【OK】按钮,结束操作,SPSS软件自动输出结果。3.3结果和讨论从以上结果可以看出,在控制了温度变量后,产量和降雨量之间还是有正相关关系,但不如之前的显著了。4.1统计学上的定义和计算公式4距离相关分析简单相关分析和偏相关分析有一个共同点,那就是对所分析的数据背景应当有一定程度的了解。但在实际中有时会遇到一种情况,在分析前对数