计算机模拟病例考试重复使用的可靠性研究

1计算机模拟病例考试重复使用的可靠性研究毕洪然，左天明，孙宝志（中国医科大学医学教育研究中心，辽宁沈阳110001）[摘要]中国医科大学是首个在国内开发并使用计算机模拟病例（Computer-basedCaseSimulation,CCS）这种考试方式的，由于考生数目较大，开发病例也比较复杂，所以考试病例往往重复使用。本研究验证了在中国医科大学CCS考试中重复使用病例，并未对考试的客观性和公正性产生显著影响，CCS考试具有较高的客观性、公正性以及可靠性。[关键词]CCS考试；重复；可靠性计算机模拟病例考试（Computer-basedCaseSimulation,CCS）是一个动态的、人机交互的对患者疾病状况的模拟[1]。病例一开始，在屏幕上会呈现患者的病情简介和来诊时的病例信息，考生可以通过采集病史、体格检查、制定医嘱来完成对患者进行的诊断和治疗。中国医科大学自2001年开始进行CCS考试系统的开发，学习和借鉴国外CCS经验，独立研究开发了适合我国国情的CCS考试系统。自2002年开始，中国医科大学就一直应用CCS考试，它是中国医科大学临床专业毕业生毕业综合考试的重要组成部分。CCS考试这种基于表现的评价法是很复杂的[2]，而且很难开发，需要很多人力与物力方面的支持，而中国医科大学每年考生较多，计算机病例开发的复杂性导致新病例的开发速度远远赶不上考生的数量，所以在每次的CCS考试中，病例往往是重复使用的，这样就有可能对整个考试的客观性和公正性产生质疑，本研究旨在验证CCS考试的重复使用的可靠性。一、对象与方法（一）研究对象本研究以中国医科大学2010年参加毕业综合考试的2005级五年制临床医学专业本科考生作为研究对象，共471人。（二）研究方法1.考试方法学校在于考试前2个月将考试的形式和内容，以及演示说明发布在教务处网站上，供考生了解和练习。CCS考试共有两站，第一站为公共病例，即所有考生都要测试的病例，第二站为随机病例，即考生在我们所设置的几个病例中随机抽取一个进行作答。在本次考试中，共应用了9个模拟病例，其中1个为公共病例。考试时间共持续16天，每日共有上午、下午和晚上3组考生参加考试，每组10人，即每天30名考生参加考试。考试顺序是按照实习地点随机分组的。2.统计方法考生的CCS考试成绩最后导入Excel数据表中，调查问卷采用Epidate建立数据库，输入数据，并用双录入方法对数据库进行核查。所有数据录采用SPSS13.0软件进行统计分析。3.质量控制考试顺序是根据实习地点的不同随机分组的，为减少系统误差，监考老师严肃考场纪律，严格监考，以保证考生独立完成考试题目。调查问卷经过专家论证。CCS考试的评分为计算机程序自动评分，准确性极高，由此产生的系统误差极小。本研究样本量足够，且各样本独立。二、结果（一）CCS考试的基本情况在2010年五年制CCS考试中应用的9个病例包括3个内科病例，4个外科病例，2个妇科病例，2个儿科病例，9个病例编号分别为公共病例2305号，随机病例1107号、11102号、2303号、2304号、2324号、2404号、2415号、2416号。由于考虑到样本量关系，在对考试成绩进行统计分析时，公共病例和随机病例均按考试顺序每四天一组。（二）CCS考试成绩分析每个病例得分均由计算机程序自动计算，CCS考试的总分、各病例分数都以百分制计，CCS总分是将考生所考的两个病例的百分制总分所得平均数，见表1。表1，CCS考试总分分组人数平均分标准差95%可信区间最低分最高分下限上限112047.5411.4145.4849.6022.5074.00212049.5710.4147.6951.4521.0072.00311950.7712.8548.4453.1118.0078.00411247.538.7245.9049.1622.5070.00总计47148.8711.0347.8749.8718.0078.00*P0.05（三）分别对CCS总成绩，以及各个病例分数进行方差分析，结果如表2，CCS总成绩、1107号病例、1110号病例、2303号病例、2304号病例、2324号病例、2404号病例、2415号病例平均分数在各组之间均显示无显著性差异；公共病例和2416号病例方差分析显示有显著性差异。根据方差分析的结果，进一步对公共病例和2416号病例进行Scheffe检验，结果显示公共病例第三组成绩明显低于第四组，2416号病例第四组成绩明显低于其他三组。3表2，CCS考试各组比较结果组平均分方差分析P值Scheffe检验1234CCS总成绩47.5449.5750.7747.530.059公共病例51.9252.3256.4550.740.012*4＜31107病例55.3155.5356.6754.290.9711110病例28.2932.7327.4433.000.6432303病例47.2044.2942.0747.570.5982304病例42.3346.5049.6751.000.4112324病例29.4031.8138.3330.790.0902404病例65.0767.8761.2962.290.2882415病例43.3347.7342.4343.710.4712416病例43.1342.0040.0033.790.039*4＜1,2,3*P＜0.05分别各病例考试顺序与考试得分进行相关分析，得到相关系数如表12所示，除2416号病例外，其他各组病例考试分数与考试顺序均显示无相关关系。表12，CCS考试中各病例成绩与考试顺序的相关分析结果公共病例1107病例1110病例2303病例2304病例2324病例2404病例2415病例2416病例与考试顺序的相关系数-0.006-0.0020.072-0.0300.1970.073-0.144-0.073-0.271**P0.05三、讨论利用CCS考试形式来评价学生的临床诊疗能力[3]，是中国医科大学引进与探索的新型评价方式，在2010年五年制临床专业毕业生CCS考试可以看出，考生分数普遍较低，CCS考试难度较高，另外还有考生对这种形式的计算机模拟考试陌生、计算机操作不熟练、考试紧张、临床知识有限等原因造成的。学生们在平时的临床课的学习中，尤其是在教学医院的实习中没有充分重视对临床技能及临床思维能力的培养，所以在进行这方面内容的考查时造成成绩的不理想。因此我们今后应该注意发挥考试的功能，在教学中，特别是临床实习的教学中，充分注重对学生的临床技能和临床思维能力的培养。在16天的考试中，CCS总分的平均分数并没有显示显著性差异，也没有出现按照时间顺序有序增长的趋势。从CCS总分按时间顺序绘制的散点图中可以看出，各病例得分并4没有呈现出一定的变化规律。同样，当对每个模拟病例的分数单独评价时也可以看出，只有两个随机病例的四组平均分数之间显示不同，但是都为时间顺序靠前的组别平均分数反而低于考试顺序靠后的组别，并不能说明时间顺序对于考生的成绩产生了影响，是由于考生之间能力水平的差异所引起的某些组别的平均分数有显著差异。其他病例，即1个公共病例和7个随机病例的组平均分和考试时间显示无相关性。无论是病例重复次数较多的公共病例，还是重复次数相对较少的随机病例，从不同层面分析重复使用对考试成绩的影响，都可以发现考试的先后顺序并不影响考生的成绩。CCS考试侧重于评价考生解决临床问题（包括诊断、治疗和监护）的临床诊疗思维和决策能力，即在较为逼真的临床情境下考查学生处理病人全过程的能力，它注重考生重点病史采集、体格检查、必要的实验室检查、做出正确诊断、实施必要的措施、药物治疗及其他在诊断治疗整个过程中的考察，并不像多选题考试那样测试考生的基础知识，也不像标准化病人考试那样测试医学生问诊查体以及与患者交流能力[4]。这些内容是现有的其它考试形式所不能完全替代的。CCS这种评价能力的模式是对一个临床模拟病例的未痊愈的管理，这个评价工具评价考生对诊断过程和治疗干预的选择和排序。从以上研究中我们可以看出，中国医科大学CCS考试虽然历时长，考试病例数量有限，但并没有影响到CCS考察考生能力的要求。2007年我国医师资格考试临床技能考试加试了（CCS）考试，并首次在北京、河北、四川、青海等四省市进行临床执业医师试点考试，这使得对于CCS考试的研究对完善临床技能考试系统有着重要更有意义，我们要结合本国的实际，使这项技术最大限度地发挥作用。[参考文献][1]左天明.医学计算机模拟病例考试系统的初步建设和应用.医学教育探索.2003,3:46-47.[2]ThomasG.Lynch,MD,RobertJ.Zadalis,MD.RepeatedUseofComputerizedCaseSimulationsinaTestFormatDoesNotPresentSecurityRisk.TheAmericanJournalofSurgery.[3]JaniceDowdScheuneman.AnInvestigationoftheDifficultyofComputer-basedCaseSimulations.MedicalEducation,1999;32(4):150-157.[4]Scheuneman,Janice.AnEvaluationofGenderDifferencesinComputer-BasedCaseSimulation,May,1997[收稿日期]2011-8[作者简介]毕洪然，女，助教，研究方向：医学教育研究通讯作者：孙宝志，E-mail：[e-mail]ityofRepeatedUseofComputer-basedCaseSimulation（CCS）BIHong-ran,ZUOTian-ming,SUNBao-zhi（Researchcenterformedicaleducation,ChinaMedicalUniversity.Shenyang110001,Liaoning,China）Abstract：ChinaMedicalUniversityisthefirstinstitutionwhichdevelopingandusingcomputer-basedcasesimulationsinChina.InChinaMedicalUniversity,therearemanystudentswhotakepartinthisexameachyear.Becauseofthecomplexityofthecasesdevelopment,thenumberofnewcasescannotabletocatchthenumberofstudents.Sothecaseareoftenbeenrepeatedusedinmanyexam.ThisstudytestifiedtheobjectivityandimpartialityabouttherepeateduseofCCSinChinaMedicalUniversity.Keywords：Computer-basedCaseSimulation;Repeatedused;Reliability