四年制预防医学生专题实习评价指标体系的构建

四年制预防医学生专题实习评价指标体系的构建再依奴尔·阿不都外力戴江红杨蕾薛茜赵珍（新疆医科大学公共卫生学院，新疆乌鲁木齐830011）【摘要】目的:建立四年制预防医学生专题实习评价指标体系并用于实际测评。方法:采用Delphi法筛选评价指标，采用层次分析法（AHP）确定评估指标的权重系数。结果:建立了包括3个一级指标、7个二级指标、19个三级指标的评价指标体系,并进行实例测试。测试结果表明学生总成绩平均为84.47分，最高94分、最低68分；86%的学生实习态度良好、63%的学生参加现场调查或实验室工作、78%的学生撰写论文专家评分大于85分，28%的学生交流沟通能力以及57%的学生数据统计分析能力亟待提高。结论:评价指标的选择具有代表性，各级指标权重系数合理，评价方法体现科学性和客观性，为高等医学院校预防医学毕业生专题实习的评价提供了参考。关键词:预防医学专题实习指标体系综合评价Constructionofindicatorsystemfortheevaluationoffour-year-programpreventivemedicinestudent’sprojectpracticeZaiyinuer.AbudouwailiDaiJiangHongYangLeiXueQianZhaoZhen(CollegeofPublicHealth,XinjiangMedicalUniversity,Urumqi830011）1Abstract:【Objective】Thestudyaimedatestablishingevaluationindexsystemfortheevaluationoffour-year-programpreventivemedicinestudent’sprojectpracticeanduseittoempiricalmeasurement【Methods】Indicatorsforthe作者简介：再依奴尔·阿不都外力/新疆医科大学公共卫生学院在读硕士研究生戴江红/新疆医科大学公共卫生学院副教授（乌鲁木齐830011）evaluationwasestablishedaccordingtoDelphimethodinthisstudy.Theweightingcoefficientofeachindecatorwasdecidedbymeansofanalytichierarchyprocess(AHP).【Results】Theindexsystemincludedthreefirst–classindexes,sevensecond-classindexesandnineteenthree-classindexes,alsotheworksampletestwasprocessed.TestresultshowsthatGradePointAverageofstudentsis84.47、highestscoreis94、lowestscoreis68;86%studentsarewithagoodpracticeattitude、63%studentsparticipatedinfieldsurveyorlaboratorywork、78%student’spaperscorewashigherthan85thatismarkedbyexperts、28%student’scommunicationskillsand57%ofstudents’sstatisticalanalysisabilityareneededtoimprove.【Conclusions】Theconstructedassessmentindexesarerepresentativeandtheweightcoefficientofeachindexisreasonable.Therefore,itcouldprovideascientificandobjectivereferencemodeforuniversitytoevaluatethepreventivemedicinestudent’sprojectpractice.Keywords:preventivemedicineprojectpracticeindicatorsystemcomprehensiveevaluation专题实习是预防医学专业本科生踏上工作岗位前在校学习的最后一站，是学生通过医院的临床实习及疾病预防控制中心的生产实习后,进入学校相关教研室完成毕业论文的实习过程。它也是综合检验学生四年学习效果和知识水平，培养学生综合运用本学科的基础理论、专业知识和基本技能,提高分析与解决问题的能力的过程。专题实习的目的是将理论转化为实践,通过实践掌握学科知识并在科研工作中融会贯通,其重要性不言而喻。面向21世纪高等医学教育改革和发展的趋势,本校进行了预防医学专业“五改四”的探索和尝试，结合本校预防医学专业学生的实际情况,对建立四年制预防医学专业本科毕业专题实习评价指标体系进行了初步探讨。1.研究方法及步骤1.1确定咨询专家选择新疆医科大学的15位专家。专家的选择主要依据以下几个方面:①具有一定的预防医学本科毕业生培养与管理的理论知识或实践经验；②比较熟悉预防医学本科教育质量管理工作或长期从事本科预防医学教育研究；③对本研究有一定的积极性,愿意回答专家咨询问卷；④能保证在课题研究时间内持续参加本研究的三轮函询；⑤在预防医学领域从事10年以上教学及研究的专业人员。15位专家均具有高级专业技术职务,硕士生导师12名、7人曾先后担任过各级行政领导职务。1.2建立评价指标体系初步框架和设计问卷咨询表通过咨询专家、同行讨论、查阅和分析文献资料，筛选其中关于医学生毕业实习评价等方面代表性文献[3、4、5、6]，草拟评价的主要内容，提炼相关的指标。在选择指标和构建指标体系时,主要遵循以下原则:①系统性原则:设计的指标应能全面反映四年制预防医学专业本科毕业专题实习综合情况,以保障综合评价的全面性和可信性；②可行性原则:指标含义明确,指标内容可直接测量或观察而获得；③科学性原则:评价指标客观，能准确反映毕业生的实际情况；④简单性原则:合理构建指标层次，简化指标数量,如果评价指标体系的层次和指标太多,评价过程就十分复杂,计算烦琐则影响评价的精确度。依据以上评价体系构建原则，结合预防医学毕业生实习现状和特点，建立了四年制预防医学专业本科毕业专题实习评价指标体初步框架。1.3指标的筛选采用Delphi法[1]，向专家发放第一轮咨询表,专家将个人评判表填好，收上来后进行统计处理。将第1轮调查表统计出的结果,再反馈给被调查的专家,进行第2轮咨询。如果第2轮咨询的结果比较集中,就可以定论；如果咨询的结果很离散,需要经过第3轮或更多轮咨询。直至各位专家的意见趋向一致或基本上趋向一致时,确定权重,再返回专家征求意见。应用此法对预防医学专业专题实习评价指标、指标覆盖面、指标内涵、指标权重进行修订。对专家咨询结果进行可靠性分析(包括专家积极系数、专家权威系数、专家意见协调系数等),根据分析结果,完成预防医学专业本科毕业专题实习评价指标体系的构建。1.4指标权重的确定本研究采用一种改进的层次分析法(AnalyticalHierarchyProcess，简称AHP)来确定指标体系的权重[2]。下面以综合素质、知识结构、专题调查能力三项一级指标为例,说明权重的计算过程。层次分析法是通过对相关两因素的相对重要性程度进行判断来确定各指标权重。取1、3、5、7、9等5个等级标度，其意义为：1表示相比较的两因素同等重要；3表示前一因素较后一因素略重要；5表示前一因素较后一因素重要的多；7表示前一因素较后一因素更重要；9表示前一因素较后一因素极端重要。而2、4、6、8表示相邻判断的中值。A与B因素重要程度之比等于B与A因素重要程度之比的倒数。表1综合素质、知识结构、专题调查能力三项一级指标俩俩比较结果指标1指标2指标3指标1112指标2111指标31/211①计算各指标相对权重：先对矩阵各列向量进行归一化处理，然后对矩阵各行向量进行归一化处理，最后再对其结果进行归一化处理，得三项一级指标权重，分别用W1、W2、W3表示。W1=0.411，W2=0.328，W3=0.261。②进行一致性检验：通常用一致性指数CI检验计算得到的各指标权重有无逻辑混乱。一般认为，当CI0.1时可能无逻辑混乱。计算矩阵最大特征根λmax=3.053。CI=(λmax–n)/n-1=0.0265,CI0.1；当判断矩阵阶数﹥2时对CI进行修正，计算随机一致性比例CR。一般认为，当CR0.1时可能无逻辑混乱。本例CR=CI/0.52=0.051，CR0.1。可认为该指标权重系数合乎逻辑。同样的方法计算其他指标权重。1.5资料的收集与实例测试应用本研究构建的指标体系对新疆医科大学公共卫生学院2010年预防医学专业及预防医学专业临床营养方向的毕业生进行评价，以检验指标体系的操作性。毕业生共116人，预防医学专业57人、预防医学专业临床营养方向59人，其中男52人、女64人、汉族54人、少数民族62。专题实习中，因带教老师全程与实习生相处，对学生各方面的能力有最直接的了解，其评价较为权威。在考评前向带教老师解释指标体系，说明研究的目的、意义、评价方法和要求，由带教老师根据各指标等级评分内涵与学生各项能力相符的等级水平，通过相应各指标的等级分数段给出具体的评分。学生各项考试成绩直接由新疆医科大学教务处提供。2.结果2.1专家积极系数是专家对本项研究关心、合作的程度。其计算方法为：参与专家咨询进行评判的专家占全部专家数之比。本研究进行了预咨询及第一、二轮专家咨询,三轮专家咨询积极性系数分别为100%(15/15)、93%(14/15)、100%(15/15)。说明此次咨询,专家对本项研究的关心、合作程度很高。2.2专家权威系数)(Cr由专家的判断依据(Ca)和专家对问题的熟悉程度(Cs)两个因素构成。一般认为Cr≥0.70为较好的信度。计算公式为：2CsCaCr。其中专家的判断依据(Ca)和专家对问题的熟悉程度(Cs)由赋值分计算而得[1]。本次专家咨询专家权威系数Cr为0.812。2.3专家意见协调系数专家意见协调系数（W）反映专家对全部问题评判意见的协调程度,取值在0～1之间，协调系数越大，表示专家对研究方案的协调程度越高[7]。通过计算得该评价指标的专家意见协调系数W为0．837。2.4建立四年制预防医学专业专题实习评价指标体系根据专家咨询结果，计算各级指标权重，建立四年制预防医学专业本科毕业专题实习评价指标体系。指标体系由三级指标构成。一级指标是预防医学专业本科毕业专题实习评价的主要内容,由综合素质、知识结构、专题调查能力3项指标组成。二级指标是对一级指标更深层次的分解,由实习态度与纪律、基本技能、论文撰写及答辩等7项指标组成。19项三级指标是反映这些技能内涵的具体的行为要求。三级指标包括定量指标和定性指标，定性指标根据达到要求的程度分为ABCD四个等级,给每个等级设定相应的分数段,从而把定性指标转化为定量指标。(见表1)。表1四年制预防医学专业本科毕业生专题实习评价指标体系一级指标二级指标三级指标等级标准A级100-90分B级89-75分C级74-60分D级＜60分综合素质（0.471）实习态度与纪律（0.643）实习态度（0.548）组织纪律（0.452）综合表现（0.357）团队合作精神（0.629）交流沟通能力（0.371）知识结构（0.268）基本理论（0.518）预防医学专业知识(0.465)相关社会科学知识(0.350)毕业考试综合成绩(0.185)基本技能(0.482)外语或汉语水平(0.387)信息查阅分析能力(0.320)数据统计及分析能力(0.293)专题调查能力（0.261）论文开题(0.438)课题设计及选题（0.445）综述撰写（0.328）开题报告专家评价（0.227）课题实施现场调查或实验