认知诊断理论-(辛涛)

LOGO认知诊断理论辛涛中国基础教育质量监测协同创新中心2016年8月24日“现代统计分析方法与应用”高级研修班@西南大学重庆《认知诊断理论》课程说明2时间段授课内容上午8:30~11:30认知诊断理论概述晚上认知诊断理论应用：认知诊断计算机化自适应测验(CD-CAT)认知诊断实操部分：MATLAB软件的使用认知诊断理论概述认知诊断理论的背景与基础1Q矩阵的重要地位与规则空间模型2常见认知诊断模型介绍3认知诊断评估的结果报告43认知诊断评估对我国学业评价的启示541、认知诊断理论的背景与基础认知诊断理论的背景教育问责制(accountabilityineducation)问责的含义Account：会计、账目清算；说明、解释Accountabilityvs.Responsibility教育问责的发展的脉络80s’欧美教育文献的高频词NoChildLeftBehindAct(2002)EducationalAccountabilityvs.EducativeAccountability5认知诊断理论的背景教育问责制(accountabilityineducation)问责制涉及的核心问题明确可行的教育目标和标准相应的法律法规体系责任共担的教育性问责取向教育评测（Assessment）的作用客观可靠的数据系统6认知诊断理论的背景教育问责制(accountabilityineducation)NoChildLeftBehindAct(2002)：强化测验在评估中的作用；加强结果评估(consequentialassessment)与教学之间的联系学生(测验分数)学校与教师形成性评估(formativeassessment)7K-12评估的革新教育评估应该更好地反映学生的学习，为教学提供反馈信息：Cronbach’s(1957)：TheTwoDisciplinesofScientificPsychologyGlaser’s(1976)：conceptualizationofaninstructionalpsychologythatwouldadaptinstructiontostudents’individualknowledgestates认知理论与心理计量模型的结合(Glaser&Silver,1994;Pellegrino,Baxter,&Glaser,1999;Pellegrino,Chudowsky,&Glaser,2001)8CTT与IRT分数的局限经典测验理论：1：X=T+E2：信度、效度、难度和区分度为指标传统统计分数项目反应理论：1：项目水平模型—项目反应函数2：基于IRT的认知诊断模型的基础9CTT和IRT都只能将被试进行排序，无法获得更多的测验信息！认知心理学的发展对被试问题解决过程的心理揭示认知心理学学科心理学教育心理学学习心理学认知属性(attribute)知识点技能心理过程10认知心理学的发展(续)认知诊断的定义对被试在测验所测属性或知识点(如通分、借位与约分等)上的掌握水平进行分类(掌握还是未掌握)通过认知诊断方法或模型确定被试的不可直接观测的认知结构或知识状态，确定被试已经掌握哪些属性，哪些属性未掌握需要补救11除了二分，还可以是多分的情况测验分数的实质解构传统测验认知诊断测验单个总分],,,[21Kα每个属性都有一个分数90ˆMessi90ˆ.RonaldoC]1101110[ˆα]0111010[ˆα12传统测验理论认知诊断理论20世纪80年代20世纪60年代传统测验理论认知诊断理论(CDT)项目反应理论(IRT)概化理论(GT)经典测验理论(CTT)13142、Q矩阵的重要地位与规则空间模型题目属性关联矩阵Q1111111011111100111110001111000011100000110000001被试测验作答反应矩阵统计或测量方法被试的知识状态题目属性关联矩阵Q7×7(行代表属性，列代表题目)15非统计的诊断方法教师观察：教师根据学生作业或考试表现主观判断；出声思维：根据Q矩阵界定的属性，对学生进行出声思维考察；费时费力，难以区分随机因素对被试作答造成的影响；统计方法或测量方法：CTT&IRTCDT。16认知诊断评估的基本过程模型选择分数报告认知分析认知属性分析：属性提取属性层级关系界定测验Q矩阵标识测验题目编制认知诊断模型：模型选择参数估计统计收敛性模型数据拟合检验分数报告：属性掌握概率学习之路学习优势剖面图17常见的认知诊断模型18认知诊断模型(CognitiveDiagnosticModel,CDM)●线性逻辑斯蒂克测验模型(LLTM)(Fischer,1973)●规则空间模型(RSM)(Tatsuoka,1983)●统一模型(UM)(DiBello,Stout,&Roussos,1995)●融合模型(FM)(DiBello,Stout,&Roussos,1995)●“噪音输入，确定性‘与’门”模型(NIDA)(Maris,1999)●“确定性输入，噪音‘与’门”模型(DINA)(Junker&Sijstma,2001)●属性层级模型(AHM)(Leighton,Gierl,&Hunka,2004)●“确定性输入，噪音‘或’门”模型(DINO)(Templin&Henson,2006)●广义的DINA模型(G-DINA)(delaTorre,2011)认知诊断模型分类19•没有显式的项目特征函数(ICF)规则空间模型(RSM)属性层级模型(AHM)严格意义上讲，RSM和AHM都不是统计模型而是分类模型•有显式的ICF潜类别模型DINA、DINO、NIDA、G-DINA，等等多维项目反应理论(MIRT)模型补偿型模型：多维两参数逻辑斯蒂克模型(M2PLM)(Reckase,2009)非补偿型模型：多成分潜在特质模型(MLTM)(Whitely,1980)验证性的多维模型有效认知诊断模型分类(续)—图示认知诊断模型多维IRT模型：非补偿性模型：Whitely(1980)：多成分潜在特质模型(MLTM)补偿性模型：多维正态肩形模型(MNO)多维Logistic模型(Reckase&McKinley,1982,1991,1997)潜类别模型：•DINA模型•统一模型(UnifiedModel)•融合模型(FusionModel)规则空间模型属性层级模型20认知诊断模型分类(续)21•值得注意的几点：与CDM一样，MIRT模型也具有认知诊断功能(Embretson&Yang,2013)MIRT除了能够提供被试总的测验分数，还能提供被试在每个维度上更为精细的领域分数(domainscore)通过MIRT分析可以得到被试在每个分量表上的连续估计值用于替代CDM提供的二分诊断结果(掌握/未掌握)丁树良等(2012)认为CDM特别适用于形成性评估，因为它涉及的属性较少且属性粒度也较小；但对于总结性评估(如学年测验、高校招生考试)，由于涉及的属性较多，往往使用能力(能力粒度比属性粒度大)而非属性来标注Q矩阵，这时使用MIRT进行诊断分析更为合适。认知诊断模型—规则空间模型22•RSM的提出Tatsuoka(1981,1983)对被试的错误规则进行分析，提出了一种叫做规则空间的剖面图分析方法，成为了最初的规则空间思想的雏形从带符号的减法例子中找出47种规则，其中27种是错误规则Tatsuoka(1985)提出了RSM的成型构念认知诊断模型—规则空间模型23•最初的错误规则分析错误规则1：改变括号里的符号，再按照正常的加法来完成题目错误规则2：通过大的减去小的得到结果，然后用第一个数的符号作为结果符号错误规则3：除简单的减法外，一律将减号变成加号处理错误规则4：一律拿大数减去小数，然后将大数的符号作为结果符号认知诊断模型—规则空间模型24•认知诊断问题对应于统计模式分类问题将可观测的反应模式(ORP)与不可观测的认知结构(CS)或知识状态(KS)或属性掌握模式(AMP)建立联系由KS和测验蓝图Q可以确定理想反应模式(IRP)。如果Q中包括可达矩阵R，可保证KS与IRP之间的一一对应规则空间模型(RSM)通过维度化简技术将m维(m代表题目数)IRP/ORP约简到二维的笛卡尔空间，从而建立ORP与IRP的关系认知诊断模型—规则空间模型25点击添加标题3PLM题目参数值被试作答模式理想反应模式匹配分类RSM(Tatsuoka,1983,1985)广义距离(孙佳楠,2011,2013)直接匹配：匹配作答模式间接匹配：匹配(θ,ζ)对•认知诊断问题对应于统计模式分类问题(续)被试分类的基本思想认知诊断模型—规则空间模型26•规则空间模型的主要步骤Q矩阵理论部分1.确定属性与题目间的关系并编制事件Q矩阵(incidenceQmatrix)2.界定属性间的先决关系(prerequisite)3.确定可能的属性掌握模式(AMP)4.计算理想反应模式(IRP)模式分类部分5.估计题目参数和被试参数6.建立二维的规则空间7.对实际作答模式进行分类并计算属性掌握概率8.检验分类的效度认知诊断模型—规则空间模型27•1确定属性与题目间的关系邀请学科专家、教学专家及测量学家对已编制好的测验进行分析确定属性与题目之间的关系编制事件Q矩阵(incidenceQmatrix)假设有K个属性和m个题目，可将Q矩阵记为QK×m题目1考核属性1和3，题目2测量属性2，…，题目5考核最后1个属性10001001100110153Q认知设计矩阵认知诊断模型—规则空间模型28•2界定属性间的先决关系通过Q矩阵中行与行之间的关系比较得出属性间的先决关系确定邻接矩阵A：仅反映属性间的直接先决关系确定可达矩阵R：反映属性间的直接先决关系、间接关系及自反关系•对于不断增大的正整数n(n是1到K之间的数)，当(A+I)n不再变化时，即可得到R矩阵：R=(A+I)nTatsuoka使用的理论有：•图论(计算邻接矩阵与可达矩阵等)•集合论(确定偏序关系与包含关系等)•抽象代数(格、布尔格或布尔代数)•布尔描述函数(BDF)认知诊断模型—规则空间模型29•2界定属性间的先决关系(续)给出属性先决关系，容易写出A矩阵和R矩阵某属性先决关系图与右侧属性先决关系图相对应的A矩阵与R矩阵认知诊断模型—规则空间模型30•3确定可能的属性掌握模式(AMP)考查K个属性，最多有2K-1种AMP(不包括不掌握任何属性的零向量)将每种AMP看成矩阵的1列，所有2K-1种AMP构成Qc矩阵删除Qc矩阵中不符合属性先决关系的列，得到简化事件Qr矩阵(reducedQmatrix)Qr可通过Tatsuoka(1995)的“删除法”或丁树良等(2009)的“扩张法”(基于R矩阵直接扩充)得到Qr总共包括7种AMP，虚线左侧为R矩阵内容，虚线右侧为根据R矩阵“扩张”生成的新AMP认知诊断模型—规则空间模型31•4计算理想反应模式(IRP)“理想”是指在不存在失误(slipping)和猜测(guessing)的情况下，被试作答反应完全由“被试有且只有掌握题目的所有属性，才能正确作答该题目”的原则确定确定IRP有4种方法符号说明•qi：Qr的第i列，代表第i个理想被试的AMP•pj：Q的第j列，代表第j个题目的属性向量方法1认知诊断模型—规则空间模型32•4计算理想反应模式(IRP)(续)确定IRP有4种方法方法2方法3方法4认知诊断模型—规则空间模型33•RSM中基于AMP和Q计算IRPSN掌握属性属性掌握模式理想反应模式1none(0,0,0)(0,0,0,0)2A1(1,0,0)(0,0,0,0)3A2(0,1,0)(0,0,0,0)4A3(0,0,1)(0,1,0,0)5A1A2(1,1,0)(0,0,0,1)6A1A3(1,0,1)