以多点计分试题结构为基础的计算机适性测验算法

1硕士论文计划以多点计分试题结构为基础的计算机适性测验算法Jan.17,20052研究动机国科会计划「国小数学科计算机化适性诊断测验(I)(II)(III)」是以数学科「单元」为测验单位之计算机测验，其选题策略主要是以二元计分试题结构为基础。（郭伯臣，2003、2004）本研究拟将原适用于二元计分适性测验选题模式扩展为多点计分的适性测验选题模式，并应用于开发可诊断「能力指针」学习情形的计算机适性诊断评量。郭伯臣、刘湘川（2003,2004）计算机化适性诊断测验及补救教学系统进行流程2.适性测验系统（以二元计分试题结构为主）学生学习剖面图3.补救教学分类系统类别1类别2类别n4.辅助学习模块1学生1.多媒体题库系统4.辅助学习模块24.辅助学习模块n以试题阶层性结构为基础的适性测验如何节省施测题数ABCDEFGHI0011111待测待测待测待测待测待测待测待测待测011110预测错误预测作答情形5知识/试题结构产生的方式专家结构由学科专家与现职教师共同参考相关研究文献及不同版本教材后分析讨论建立。二元计分试题结构估计方法DiagnosysOrderingTheory(OT)ItemRelationalStructureAnalysis(IRS)6研究目的1.开发以多点计分试题结构为基础之适性测验选题策略2.探讨以不同多点计分试题结构为基础及以专家结构为基础之适性测验选题策略成效3.探讨如何结合二元计分与多点计分试题结构之适性测验选题策略7研究步骤与目前进度1.配合相关能力指标研究，建立专家能力指针间结构及专家能力指针内结构。2.发展适用于计算机适性测验之多点计分试题顺序结构系数（研究目的一）3.编制纸笔测验，并进行施测，收集仿真计算机适性测验所需数据4.以实际测验数据进行仿真计算机适性测验，评估不同多点计分试题结构及专家结构之适性测验选题策略成效。（研究目的二）5.以实际测验数据进行仿真计算机适性测验，评估结合二元计分与多点计分试题结构之适性测验选题策略成效。（研究目的三）目前进度已完成步骤1-3，现正进行步骤4。8以二元计分试题结构为基础之适性测验选题策略9Diagnosys(Appleby,Samuels,Treasure-Jones,1997))1,0()0,1(kjkjXXfXXfkjXX)0,0()1,1(jkjkXXfXXf)1,1(kjXXf)0,1(kjXXf)1,0(kjXXf)0,0(kjXXfItemXk=1ItemXk=0ItemXj=1ItemXj=0kjXX)0,1()1,0(jkjkXXfXXf10DiagnosysDiagnosysOurDefinition)0,0()1,1()0,1()1,0(kjkjkjkjXXfXXfXXfXXf)0,1()1,0(kjkjXXfXXf)1,0()0,1(kjkjXXfXXf)0,0()1,1(kjkjXXfXXf)0,1()1,0(kjkjXXfXXfkjXXkjXX11ThejointandmarginalprobabilitiesofitemjandkItemkItemjTotalTotal1(1,1)jkPXX(1,0)jkPXX(1)jPX(0,1)jkPXX(0,0)jkPXX(0)jPX(1)kPX(0)kPX1jX0jX1kX0kX12OrderingTheory(OT;Airasian&Bart,1973)suggested.usuallyis04.00.02andthresholdaiskjkjjkXXXXPTHEN)1,0(IF:OT*ItemkItemjTotalTotal1(1,1)jkPXX(1,0)jkPXX(1)jPX(0,1)jkPXX(0,0)jkPXX(0)jPX(1)kPX(0)kPX1jX0jX1kX0kX13ItemRelationalStructureAnalysis(IRS;Takeya,1978)kjjkkjXXXXXXTHENANDIFkjkjkjjkXXrXPXPXXPrTHEN)1()0()1,0(1IF:IRS*suggested.usuallyis0.5andthresholdaisr14「扩分、约分」单元OT’sStructure(threshold=0.04)15「扩分、约分」单元OT’sStructure(threshold=0.02)16二元计分试题结构的应用早期这些方法主要是用以估计纸笔测验之试题结构，强调可提供除了试题通过率与鉴别度外的学生学习讯息；也常用于比较使用不同教学法或教材版本时，是否造成学生试题结构不同。本研究则将二元计分试题结构应用于计算机适性测验选题策略中。17二元计分试题结构研究结果郭伯臣、何政翰(2004)、郭伯臣(2004，2003)、Kuo,Liu,Sheu,Pai,Ko,Yang&Lin(2004)的研究中使用四种方法（专家知识结构、Diagnosys、OT与IRS）来建立结构，并评估所建立结构之计算机适性测验算法成效，结论为：OT的算法与其他算法比起来，其对样本大小较不敏感，因此就以试题顺序结构为基础适性测验的来说，OT为一个较好的选择。18以多元计分试题结构为基础之适性测验选题策略19多点计分试题顺序结构理论(1)20多点计分试题顺序结构理论(2)21多点计分试题顺序结构理论(3)22多点计分试题结构的应用如同二元计分试题结构，目前这些多点计分试题结构估计方法主要是用以估计纸笔测验或问卷之试（问）题结构，强调可提供除了试题通过率与鉴别度外的学生学习讯息，常用于比较使用不同教学法或教材版本，是否造成学生试题结构不同。本研究则将结合多点计分与二元计分试题结构应用于计算机适性测验选题策略中。23研究步骤与目前进度1.配合相关能力指标研究，建立专家能力指针间结构及专家能力指针内结构。2.发展适用于计算机适性测验之多点计分试题顺序结构系数（研究目的一）3.编制纸笔测验，并进行施测，收集仿真计算机适性测验所需数据4.以实际测验数据进行仿真计算机适性测验，评估不同多点计分试题结构及专家结构之适性测验选题策略成效。（研究目的二）5.以实际测验数据进行仿真计算机适性测验，评估结合二元计分与多点计分试题结构之适性测验选题策略成效。（研究目的三）目前进度已完成步骤1-3，现正进行步骤4。24模拟实验一目的：于训练样本数固定的情况下，探讨不同threshold与对不同多点计分试题结构在预测精确度与施测题数的影响。方法：设定threshold为0～1之间，样本数10、50、100与200人四种情况所获得结构，对预测精确度与施测题数的影响。25PredictionAccuracyv.s.Thresholds(Diagnosys)---扩分约分(0.02,0.95)(0.04,0.95)0.830.860.890.920.950.980.40.360.320.280.240.20.160.120.080.040DiagnosysthresholdpredictionaccuracyN=10N=50N=100N=200Expert0.040.0226TestSpeedv.s.Thresholds(Diagnosys)---扩分约分(0.02,21.0)(0.04,22.6)1471013161922250.40.360.320.280.240.20.160.120.080.040DiagnosysthresholdnumberofadministrateditemsN=10N=50N=100N=200Expert0.040.0222.621.027PredictionAccuracyv.s.Thresholds(OT)---扩分约分0.850.870.890.910.930.950.970.990.40.360.320.280.240.20.160.120.080.040OTthresholdpredictionaccuracyN=10N=50N=100N=200Expert0.060.040.0228TestSpeedv.s.Thresholds(OT)---扩分约分1471013161922250.40.360.320.280.240.20.160.120.080.040OTthresholdnumberofadministrateditemsN=10N=50N=100N=200Expert0.060.040.0210.811.712.529模拟实验二目的：在threshold固定的情况下，探讨训练样本数对不同多点计分试题结构在预测精准度与施测题数上之影响。方法：本实验由总样本中随机选取1,2,3,…,200个样本做为训练样本，threshold设定由实验一之结果决定。30PredictionAccuracyv.s.SampleSize---扩分约分(25,0.95)(170,0.95)(30,0.95)(100,0.95)0.830.850.870.890.910.930.950.970.992610141822263070110150190trainingsamplesizepredictionaccuracyOT0.04OT0.02IRS0.5IRS0.75DIAG0.04DIAG0.02Expert31研究步骤与目前进度1.配合相关能力指标研究，建立专家能力指针间结构及专家能力指针内结构。2.发展适用于计算机适性测验之多点计分试题顺序结构系数（研究目的一）3.编制纸笔测验，并进行施测，收集仿真计算机适性测验所需数据4.以实际测验数据进行仿真计算机适性测验，评估不同多点计分试题结构及专家结构之适性测验选题策略成效。（研究目的二）5.以实际测验数据进行仿真计算机适性测验，评估结合二元计分与多点计分试题结构之适性测验选题策略成效。（研究目的三）目前进度已完成步骤1-3，现正进行步骤4。32阶层性结构为主的多元计分适性测验如何节省测题数能力指标2能力指标1能力指标3能力指标4二元计分结构（指针内）多元计分结构（指针间）33Thankyou