认知诊断评估是新一代的心理和教育测量理论,是形成性评价、过程性评价、教育诊断干预落实的重要方法。本书从理论与实践、认知模型与统计模型、进展与展望、抽象与具体、理论与通俗、学习与研究等多个不同的角度进行设计,系统地介绍了认知诊断评估的历史发展和核心概念、指导认知心理学和教育测量融合的思想和例子、认知诊断测验设计和分析的原则、诊断分类模型和参数估计、认知诊断评估的软件实施等,本书对高校心理、教育方向专业人员、中小学从事教育评价工作的人员、各学科的教研员以及广大的一线教育工作者都是重要的参考。
以学习诊断促进学生发展是当前我国教育评价改革的政策导向与重点要求。科学的学习诊断需要从认知诊断评估这一学科中寻求坚实的理论依据,以提升学习诊断的系统研究与科学论证水平。本书构建了较为科学严谨的学科知识体系,注重理论方法与实践应用相结合,介绍了认知诊断测验的开发以及多种认知诊断评估统计软件的使用方法,以丰富的案例和数据分析为学生发展提供深层次的、普遍的认知规律,服务于我国教育评价改革与教育质量提升的重大现实需求。
自 序
在本书中,我们要研究的是心理和教育评估中的认知诊断 评估,运用认知诊断评估面向中小学生开展学习诊断和教学 干 预 。
纵观心理和教育测量理论的发展,我们可以将其分为经典 测验理论阶段和现代测验理论阶段。现代测验理论以潜变量模 型为核心构建和拓展测验的功能、分析框架,为现代教育评价 做出了重要贡献。认知诊断评估是处于现代测验理论阶段的一 种类型的评价或测量,即通过心理测验获得可直接观察的个体 测验作答反应,然后借助心理计量学的统计模型,识别个体所 属的认知技能类别(知识结构),从而提取教学和学习的诊断信 息,以便更有针对性地促进教学和学习。认知诊断评估是一门 年轻的学科,明确提出认知诊断评估理论的研究文献可以追溯 到20世纪80年代,虽然仅有40余年的发展历程,但是经过不 断发展和研究积累,该领域已经形成了一个学术共同体,以及 相对全面的、系统的、精细的、跨学科的专业知识内容和结构。 认知诊断评估运用的机制是认知心理学和心理计量学模型的有 机结合,因此近年也被称为新一代心理测验理论。
自21世纪初期以来,认知诊断评估这一领域的研究开始在 我国兴起。我国在认知诊断评估40余年的发展历程中的作用不 容忽视。国内研究者在认知诊断模型的开发、参数估计方法、 模型—数据拟合评价,以及实践应用等方面做出了重要的研究 贡献。目前,全国范围内多所高等院校纷纷开始将认知诊断评 估作为一门研究生课程。帮助学生建立系统全面的专业基础知 识、科学严谨的研究逻辑、前瞻前沿的研究视野,需要丰富和 提升学生接受的教育内容和教育质量,而教材建设是关键。我 们通过文献资料检索可以发现,近10年来由我国研究者编著的 各类认知诊断评估理论和实践教材不断涌现,如《教育认知诊断 评估:理论与技术研究》《认知诊断评价:理论基础》《高级认知
2
中小学生认知诊断评估
诊断》《认知诊断理论、方法与应用》《英语阅读能力的认知诊断研究》等。但是, 这些教材传递的学科知识内容在新的学科发展阶段和背景下,还有进一步的发展 空间。教材的质量提升应该立足于认知诊断评估的深厚历史、庞大的学科群体、 精细的学科体系之中。鉴于国内外认知诊断评估社会历史发展条件的变革、学科 研究体系的不断拓展,认知诊断评估相关教材仍有必要在认知诊断评估的理论基 础、技术方法和软件应用的深入讲述之外,全面系统总结认知诊断评估本身的历 史发展脉络、认知诊断模型的开发方法、常用的统计软件实施,以及认知诊断评 估的理论演进趋势。
第一,正如美国《不让一个孩子落后法案》对认知诊断评估这一学科发展的影 响,近年我国教育政策关于课堂教学与评价改革方面的新变化,对推动我国认知 诊断评估的学术研究和学科发展产生了重要影响。2019年6月,中共中央、国务 院印发的《关于深化教育教学改革全面提高义务教育质量的意见》提出“精准分析 学情,重视差异化教学和个别化指导”的要求。2020年10月,中共中央、国务院 印发的《深化新时代教育评价改革总体方案》提出“完善评价结果运用,综合发挥 导向、鉴定、诊断、调控和改进作用”的要求。借鉴国际上认知诊断评估这一研 究领域的发展趋势和特征,将认知诊断评估的理论和实践研究与国家教育政策、 课程、教学和评价深度融合,是全面提高义务教育质量的一个重要途径,有必要 在新的社会历史发展条件下,深化相关的理论和实践研究,以促进学科发展和提 高教育质量。我国基础教育发展现实需求的深刻变化不仅促使学科研究的深化, 而且对于高等院校人才培养也提出了更高的要求。因此,更高质量的教材建设成 为当前的重要需求。教材建设是我国认知诊断评估学科发展的重要基础,高质量 的教材是培养高质量学生的必备条件,也是教师高质量教学的重要参考。可见教 材建设对设立认知诊断评估课程、培养教育评价专门人才具有重要意义。
第二,国际上认知诊断评估的学科发展高度重视多元化的教材建设、发展和 完善。在认知诊断评估学科发展的不同历史阶段,国际学界都重视教材建设以加 强认知诊断评估的学科地位,引起广泛的积极讨论共建,总结系统的领域发展成 果等。当前,国际学界公开出版了多种相关的专业课程教材,各有侧重并形成了 比较全面的体系。早期的认知诊断评估教材是关于研讨会的理论和实践汇编,虽 然还较少地真正把认知模型、测验任务和心理计量学模型结合起来进行系统研 究,但是对于加强认知诊断评估的学科地位,引起广泛的深入研究,明确学科的 发展方向起着积极的推动作用。随着认知诊断评估理论的不断发展,出现了更多 以测验为中心的传统意义上的认知诊断评估教材。有的教材侧重以“认知”为中 心,构建认知诊断评估的理论和方法体系;有的教材侧重以“认知诊断模型”为中 心,构建基于模型的认知诊断评估方法,并将认知诊断评估与更大的潜变量模型 框架进行整合,全面介绍认知诊断模型和软件实施,以推动实践应用的深入发 展;还有教材以认知诊断评估理论和实践的研究发展为主要内容,以该学科中形 成的重要研究主题和领域为组织脉络,系统总结该学科当前重要的研究内容、研
究方法、研究成果和实践应用,为在比较成熟的框架体系下的学科未来发展提供 了重要的系统梳理,扮演着这一学科的指向标和百科全书的重要角色。
鉴于上述情况,我们提出了学习和借鉴国内外当前使用频率较高的教材,编 写综合性的、以实践应用为中心的通识教材的计划,希望将大容量的学科专业知 识体系,以更具历史发展纵深的线索,更具理论和实践结合性的体系进行全面的 梳理总结,体现新材料的增加、思考层次的深入和方向上的重大转变,提高认知 诊断评估教材的可读性和通俗性,强化其知识体系的系统性,促进认知诊断评估 与国家教育政策、课程、教学和评价重要需求的深度融合。为此,我们在教材的 内容选择、写作方式上尽力做到认知模型、心理计量学模型、模型—数据的拟合 评价、测量学软件实施、实践应用,以及前沿进展等重要方面的全面总结和系统 梳理,力求实现理论和实践的深度融合,在实践中认识理论的价值,并用理论指 导实践的发展。通过我们的努力和这套教材的推广,我们期望能够为我国认知诊 断评估的学科课程建设尽绵薄之力。
然而,面对认知诊断评估这一学科的迅速发展、高度专业的交叉学科知识体 系,将认知诊断评估的全貌和新貌准确、通俗地介绍给广大的心理和教育测量的 理论研究和实践从业人员,是写作过程中面临的极大挑战,这不仅在于需要收集 大量全面的、系统的文献资料,而且在于专业内容的阅读、理解、把握、准确表 达,以及加工呈现,还在于编排整理、图表制作等大量的编辑方面的工作。囿于 知识和精力有限,虽然竭尽全力反复校对、修订,但是书中难免存在一些疏漏, 恳请读者们不吝指正,帮助我们将这本书进一步完善,在此我们表示衷心的 感 谢 。
感谢北京师范大学出版社的编辑老师在体例、排版、校对、图表等诸多方面 的细致工作和大力支持与帮助,他们使得本书不断完善,得以出版。本书得到国 家社会科学基金的大力支持,在此表示深深的感谢。
田伟 辛涛
2024年12月于北京师范大学
田伟,北京师范大学中国基础教育质量监测协同创新中心副教授
目 录
第 一 章 认 知 诊 断 评 估 导 论
第一节 走进认知诊断评估 1
一 、心理诊断评估的理念方法 1
二、认知诊断评估的概念界定 1
三 、认知诊断评估的研究内容 3
四 、认知诊断评估的学科性质 5
五、认知诊断评估的主要作用 6
第二节 认知诊断评估的学科发展 8
一 、三个主要社会驱动因素 8
二、三个历史发展阶段及其特征 10
第三节 认知诊断评估的实践实施 14
一 、认知诊断评估实施的基本过程 14
二、认知诊断评估实施的研究支持 19
三、认知诊断评估实施的研究资源 21
第 二 章 测验导向的认知理论基础
第一节 认知模型的概念基础 24
一 、认知模型的意义、作用和必要性 24
二、认知模型的定义和类型 25
三、属性层级关系 26
四、认知模型的粒度 28
第二节 认知模型的开发和验证 29
一 、认知模型开发和验证过程 30
二、认知模型效度验证的方法 30
三、认知模型的开发和验证实例 37
第三节 不同学科领域的测验任务认知模型 42
一 、数学领域 43
二、科学领域 48
2 中小学生认知诊断评估
三、语言测试领域 50
第 三 章 Q 矩 阵 理 论 及 其 关 键 问 题
第一节 Q矩阵的理论和实践基础 53
一 、Q矩阵的概念基础 53
二、Q矩阵的开发 54
三 、Q矩阵的错误标定 56
第二节 Q矩阵理论及其关键作用 56
一 、Q矩阵理论中的核心概念 56
二、Q矩阵理论的关键作用 59
第三节 Q 矩 阵 设 计 64
一 、可达矩阵R 的重要作用 65
二 、Q矩阵设计的主要考虑因素 65
三、Q矩阵设计和认知诊断模型可识别性 66
第四节 Q矩阵验证和估计的统计方法 67
一 、Q矩阵的验证 67
二 、Q矩阵的估计 70
第 四 章 认 知 诊 断 测 验 开 发
第一节 传统测验开发 72
一 、传统测验开发的逻辑 72
二 、传统测验开发的过程 73
三 、传统测验开发的特点 77
第二节 原则性方法在认知诊断评估中的应用 79
一 、教育评估是一种证据论证过程 79
二 、原则性方法的核心共同要素 81
三 、认知诊断评估中的原则性方法 84
四 、证据中心设计的实践应用 86
第三节 认知诊断测验开发 91
一 、认知诊断测验的质量评价标准 91
二 、认知诊断测验开发的五个步骤 101
三 、认知诊断测验开发的主要成分 102
第四节 认知诊断测验的效度验证 106
一 、测验效度的概念内涵 107
目 录 3
二、效度理论的发展变化 107
三、构念效度的验证框架 110
四、构念效度的验证方法 116
第 五 章 认 知 诊 断 模 型
第 一 节 认知诊断模型概述 118
一 、认知诊断模型的主要特征 118
二、认知诊断模型的广义框架 120
三、认知诊断模型的实践选择 121
第二节 具体的认知诊断模型 122
一 、非参数认知诊断模型 122
二、结构化的项目反应理论模型 124
三、参数化的认知诊断模型 125
第三节 认知诊断模型的整合 129
一 、三种认知诊断模型整合框架 129
二、广义模型和具体模型的关系 132
第 六 章 认知诊断模型的参数估计
第 一 节 项目反应理论模型的参数估计方法 135
一 、项目反应理论的参数估计情形 135
二、潜在特质“填补”的参数估计方法 136
三 、潜在特质“填补”方法的三个阶段 138
第二节 认知诊断模型的参数估计方法 140
一 、参数估计方法的原理 141
二、题目参数的估计方法 141
三 、题目参数估计的影响因素 143
四、参数估计方法的不断发展 143
第三节 知识状态的参数估计方法 143
一 、知识状态的估计方法 144
二、知识状态估计的信度 146
第 七 章 认知诊断评估数据分析
第 一 节 基 于R 软件的数据分析 148
一 、R软件的安装和使用 148
二 、R软件的数据分析程序包 154
三、认知诊断评估数据分析 160
第二节 基 于Mplus 软件的数据分析 209
一 、Mplus 软件的安装和基本模块 209
二、Mplus 软件的语法结构和核心命令 210
三、Mplus 软件中认知诊断模型的设定 213
四、认知诊断评估数据分析 218
第三节 基 于 flexMIRT 软件的数据分析 234
一 、flexMIRT 软件的安装和核心功能 234
二 、flexMIRT 软件的程序和命令简介 235
三 、认知诊断模型与其程序设定 244
四 、认知诊断评估数据分析 245
第 八 章 认知诊断评估的理论演进趋势
第一节 认知诊断评估的研究拓展 253
一 、认知模型的开发和验证 253
二 、认知诊断测验开发 256
三 、认知诊断模型拓展 258
四 、认知诊断评估的应用 266
第二节 融入属性层级关系的纵向认知诊断模型 267
一 、融入属性层级关系的认知诊断模型 267
二、面向纵向数据的认知诊断模型 268
三、融入属性层级关系的纵向认知诊断模型 270
四 、融入属性层级关系的纵向认知诊断模型应用 273
参考文献 275