搜索
学生评教的数据分析与评教指标体系的评估摘要该问题是一个典型的评价问题，对于问题一我们先对整体数据进行信度分析，在得到利用该数据进行分析是有意义的结论前提下，那么我们联系问题二提出了几点可能发生不公平的可疑之处；对于问题二，按照题目假设，我们将题目所给的三个影响评价的指标因素加入模型中进行调整偏差，分析在数据中这些因素是否对结果有影响。使用普通最小二乘法，运用stata，分别分析了教师的参评人数的多少、班级规模的大小、任课节数、任门数对教师评教结果的影响。其中教师评教的结果参考值计算方法为：先根据相关系数对不同评教指标分类，接着组内取平均，最后组间取平均；对于问题三，我们在问题二的结论下忽略了已评人数、班级规模这两项指标，对其他10项评价指标进行了因子分析，分别讨论了采用主成分分析法在抽取特征根大于1时的因子分析方法和采用主成分分析在指定因子提取数量为2时的因子分析方法两种情况的优劣性，并将10个评价指标化简为两个因子：教师的课堂教学能力、授课技巧和课后服务精神以及教师对纪律规则的遵守，再对这两个因子进行回归计算，得到因子得分，最后将数据放入Excel的数据透视表处理，得到各个老师对应的综合评分和排名。对于问题四，我们根据他们的概念和中心思想讨论了主成分分析法、因子分析发、聚类分析法的公平性有效性合理性，得到因子分析法为较好方法，因此我们以因子分析法为基础建立了模型。我们按照问题一-问题二-问题四-问题三-问题五的顺序来撰述论文。关键词因子分析；主成分分析；普通最小二乘法；回归；§1问题的提出1.1背景知识在我国高校，比较规范的科学的学生评教活动应当说是伴随科学的高教评估活动的兴起而逐步形成并得到良好发展的。1985年之后开展的各种高教评估试点活动，都离不开对教学质量特别是课堂教学质量的评估，对于后者除了用统测的办法之外，另一个更为可行的办法就是学生评教。特别是从1987年起，随着教师职称评定工作日益规范化，许多高校对教师的教学提出了越来越高的要求，学生评教活动开展得越来越普遍。迄今为止，学生评教结果已被广泛地运用到办学水平评估、专业评估、课程评估、教师工作评估、教师改进教学、教师晋升、教师试讲与录用、优秀教学奖评选等活动和程序之中。[4]1.2要解决的问题问题一：分析学生评教数据，提出可能发生不公平的可疑之处。问题二：如果教师任课门数的多少、参评人数的多少、班级规模的大小等因素会影响评价结果，如何处理这个问题？[4]问题三：根据学生评教数据，提供一种公平有效的计算方法对教师的课程评分、排序。问题四：针对一般的多主体（评价人）、多客体（被评价人）、多指标的评价问题，讨论现有的一些统计、计算方法的合理性、有效性及公平性。建立你的评价模型并指出其优缺点。问题五：还有哪些问题在评价问题中是必须考虑的？你对该评教指标体系设置有什么建议？§2问题的分析问题一：分析学生评教数据，提出可能发生不公平的可疑之处2.1对数据分析的准备工作题目中计算平均分数，作为评价这名教师的教学情况的一项重要指标进行排名的这种方法，虽然该方法的评价结果能直接反映教学效果与学生期望值之间的差距，容易被教师接受，但其评价结果之间不具有可比性，且可靠性也欠佳，由于学生的个体或心理状态的差异，在学生评教过程中会产生部分不能客观反映教师教学水平的数据，或者评价过高或者评价过低，这部分数据称之为“评价噪声”，研究表明，即使“评价噪声”的数量在整个评价数据样本中只占较小的比重，也会对评价准确性产生较大的影响。因此，尽可能地减少“评价噪声”的影响对于提高评教结论的准确性和可信度是相当重要的。所以我们首先要对数据进行信度分析2.1.1整体信度分析学生评教系统的评价体系是一个由多项指标要素组成的体系。高信度的体系系统应该是内部结构良好、指标关系一致、结果内在一致性良好的体系，而克朗巴赫内部一致性系数——α系数，能够准确地反映出评价体系的一致性程度和内部结构的良好性，它是目前评价中使用最广泛的信度评价方法。所以在整体信度分析的过程中，我们通过对评价指标计算克朗巴赫(Cronbach)内部一致性系数来观察评价体系信度。克朗巴赫α信度系数法计算公式为：α=𝑚𝑚−1[1−∑𝜎𝑖2𝑚𝑖=1𝜎𝑟2]（2-1）m为评价指标总数，𝜎𝑖2为第个测评指标得分方差，𝜎𝑟2为测评指标总得分的方差。2.1.2对系统评教原始数据进行信度分析将Excel的数据导入SPSS，运用SPSS统计软件克朗巴赫α信度系数信度分析的功能进行分析，简略的步骤为：（1）选取各个评价指数下的平均分，复制进SPSS，并将SPSS中的各变量变为数值类型（2）点击分析—度量—可靠性分析，选取所有变量得到下列可靠性图表一般认为克朗巴赫α系数应达到0.7以上，数据才能有一个较好的内部一致性。对学生评教数据进行分析，克朗巴赫α系数为0.985，由此可知利用此评教系统的学生评教数据进行数据分析是有意义的。2.2数据分析及问题的解决由2.1我们可知利用该数据进行分析是有意义的，那么我们提出以下几点可能发生不公平的可疑之处（1）一名教师教授科目的门次对评价结果的影响一名教师一学期教导太多的门次可能会对评价结果产生影响，此时倘若用评价一名教师教导一个门次的方法来评价该教师就显得不太公平，所给数据中有48名教师一学期授课门次在3次及3次以上，其中最少教授门次数为1，最多为8（2）一名教师任课种类的多少对评价结果的影响一名教师教导过多种类的课程，会导致教师精力分散，此时倘若用评价一名教师只教导一个类型课程的方法来评价该教师就显得不太公平，所给数据中有46个教师教授了2门及2门以上不同种类的课程，教授课程种类最少的是1种，教师课程种类最多的是3种（3）班级规模的大小对评价结果的影响班级规模大小可能会对评价结果产生影响，所给数据中共有48个规模超过300人的班级，最少班级人数为85，最大为1038（4）该课程参评人数的多少对评价结果的影响参评人数越多，就越客观，所给数据中总共有47位教师教授的所有课程被300名及以上的学生评价，而最少参评人数为85，最大参评人数为997.问题二如果教师任课门数的多少、参评人数的多少、班级规模的大小等因素会影响评价结果，则在最终的模型中加入这些变量作为解释变量。2.3相关性矩阵由于var7以外的因变量之间的相关关系都极高，可以理解为线性相关，故先对var7以外的数据取均值，又var7的评价内容为“遵守教学纪律，按时上课，保证学时“，我们认为其他评价指标与教学质量相关，而遵守教学纪律与教学质量直观上不会有很强的相关关系，故将前面得到的均值与var7取均值，得到assessment，来分析教师任课门数的多少、参评人数的多少、班级规模的大小等因素对评价结果的影响。用assessment与三个因素分别作OLS分析，得出相关系数，并在最终的模型中应用该系数的相反数作为调整，排除这三者对评教结果的影响。接下来分析题目提供的数据中，以上三者对于评教结果的影响程度。2.3.1分析参评人数与评价结果之间的关系。用stata做OLS分析：得出结果相关系数约等于0.001，理解为相关度很低。2.3.2分析班级规模大小与评价结果之间的关系。用stata做OLS分析：得出结果相关系数约等于0.001，理解为相关度很低。2.3.3分析教师任课节数的多少与评价结果之间的关系。Var17代表一个教师所有任课课程的assessment的均值，var18为一个老师的任课门数。用stata做OLS分析：得出结果相关系数约等于0.034，理解为相关度很低。Var19代表老师的任课节数。用stata做assessment与var19的OLS分析：得出结果相关系数约等于0.023，理解为相关度很低。2.3.4分析教师任课门数的多少与评价结果之间的关系。Var22是一个老师所有任课门数。用stata做var17与var22的OLS分析：得出结果相关系数约等于0.066，理解为相关度很低。结论：以上分析结果可以得出参评人数的多少、班级规模的大小、任课节数的多少、任课节门数的多少对评教结果的影响都很小，可以忽略不计。该方法最大的缺陷在于assessment作为评教结果的参考值是否具有有效的参考性并不确定，在接下来的两个问题中我们将寻找更优的评教结果的参考指标。§3模型的假设（1）假设各个共同因子之间不相关，特殊因子之间也不相关，共同因子和特殊因子之间也不相关。（2）假设各项评价指标能够全面衡量一位教师的能力（3）假设绝大部分同学的评分态度认真，给出的分数都是客观公正的§4名词解释与符号说明α克朗巴赫内部一致性系数m评价指标总数𝜎𝑖2第i个测评指标得分方差𝜎𝑟2测评指标总得分的方差𝑟𝑡𝑡整个评估结果的信度估计𝑟ℎℎ两半评估结果的相关系数Var3已评人数Var4班级规模Var5-var14数据中的第1至第10个参评指标ℎ𝑖2公因子方差，也称为变量共同度𝑥𝑖𝑗第i个客体（被评价人）在第j个变量(评价指标)上的结果𝐹𝑘综合因子𝜆𝑘综合因子𝐹𝑘的方差𝐿𝑘𝜆𝑘对应的特征向量𝑎𝑘𝑗第k个综合指标中各单项指标的权数𝑎𝑖第i个主要综合因子所提供的信息量𝑏𝑖𝑗因子载荷系数𝐹被评价体总得分§5模型的建立即问题四：针对一般的多主体（评价人）、多客体（被评价人）、多指标的评价问题，讨论现有的一些统计、计算方法的合理性、有效性及公平性。建立你的评价模型并指出其优缺点。5.1现有统计计算方法比较5.1.1主成分分析法利用降维（线性变换)的思想，在损失很少信息的前提下把多个指标转化为几个综合指标（主成分),用综合指标来解释多变量的方差-协方差结构，即每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越的性能（主成分必须保留原始变量90%以上的信息），从而达到简化系统结构，抓住问题实质的目的综合指标即为主成分。求解主成分的方法：从协方差阵出发（协方差阵已知），从相关阵出发（相关阵R已知）（实际研究中，总体协方差阵与相关阵是未知的，必须通过样本数据来估计）合理性：在综合评价函数中，各主成分的权数为其贡献率，它反映了该主成分包含原始数据的信息量占全部信息量的比重，这样确定权数是客观的、合理的，它克服了某些评价方法中认为确定权数的缺陷。因此，它的合理性也是比较强的。有效性：它利用降维技术用少数几个综合变量来代替原始多个变量，这些综合变量集中了原始变量的大部分信息。因此，主成分分析法的有效性是比较强的。公平性：它通过计算综合主成分函数得分，对客观现象进行科学评价。再次它在应用上侧重于信息贡献影响力综合评价，并且它权数确定是比较客观、合理的，由此可见，由它计算排序后的结果应该是比较公平的。5.1.2因子分析法利用降维的思想，由研究原始变量相关矩阵内部的依赖关系出发，把一些具有错综复杂关系的变量归结为少数几个综合因子。（因子分析是主成分的推广，相对于主成分分析，更倾向于描述原始变量之间的相关关系），就是研究如何以最少的信息丢失，将众多原始变量浓缩成少数几个因子变量，以及如何使因子变量具有较强的可解释性的一种多元统计分析方法。求解因子载荷的方法：主成分法，主轴因子法，极大似然法，最小二乘法，a因子提取法。合理性：第一它不是对原有变量的取舍，而是根据原始变量的信息进行重新组合，找出影响变量的共同因子，化简数据，这样的重新组合基于各个指标的相关系数，因此组合方式是比较合理的；第二，它通过旋转使得因子变量更具有可解释性，命名清晰性高，能用文字描述出组合后的因子，更加确定了因子分析法的合理性。有效性：它根据原始变量的信息进行重新组合，找出影响变量的共同因子，化简数据，我们运用时要求取的共同因子，起码要涵盖原有变量的85%以上的信息，因此数据是有效的。公平性：计算因子得分时，采用的是最小二乘法，在此法不失效的情况下，一般来说按得分排序是比较合理的。5.1.3聚类分析法将个体（样品）或者对象（变量）按相似程度（距离远近）划分类别，使得同一类中的元素之间的相似性比其他类的元素的相似性更强。目