您 好,欢迎进入BV伟德国际体育官方网站!

项目反应理论的新发展—多维项目反应理论

发布时间:2015-01-08 | 人气:

项目反应理论的新发展—多维项目反应理论

贾文梅

摘要:多维项目反应理论描述测试者在测验项目与潜在的多维特质之间的关系,比传统项目反应理论的单维假设更确切。目前其反应模型主要分为补偿性模型和非补偿性模型。下面主要论述多维项目反应理论的发展以及展望。

关键词:项目反应理论  多维项目反应理论  项目反应模型

1引言

虽然项目反应理论(Item Response TheoryIRT)有经典测量理论(Classical Test TheoryCTT)不可比拟的优势,但是它也存在一些明显的问题。除了该理论本身要求研究者具有很高的统计学背景之外,其问题主要源于该理论的基本假设。IRT3条基本假设:1)能力的单维性假设2)局部独立性假设3)项目特征曲线假设[1]。单维性假设主要是假设测试出来的能力变量处在单维空间中,可在一个量表中表示,不同的受测者之间可以相互比较。很显然,IRT的单维性假设与许多心理或教育测验的实际是不相符的,因为人在完成一项测验任务时常常需要多种能力的共同配合,很少有测验只测查单一的能力或特质,所以测验数据是多维性的。传统IRT处理多维测验的方法是将其分成若干个子测验,在子测验内部维护单维性,在子测验之间采用线性组合的方法把多种能力合成为一维量表,这对于测验的宏观分析也许是有理由的,但是如果某些项目本身就具备多维性,那么这种处理办法就不太恰当。另外,由于这些子测验或维度之间存在某种程度的相关,每次单独分析一个子测验或一个维度的方法,忽略了各子测验之间的关系,因而用单维模型拟合多维数据会增大测量误差,对员工的能力水平做出不正确的推论[2]

因此,无论是从理论还是技术而言,都需要把传统的IRT拓展为多维项目反应理论 (Multidimensional Item Response TheoryMIRT)MIRT正是近20年来项目反应理论发展的主要新进展之一。

2多维项目反应理论简介

IRT发展的前期,都假定将被试的潜在特质标定在一个数轴上,即假定被试对项目的反应行为,可以由单维特质所决定。但事实上,面对不少任务、项目,被试必须具备多种特质才能够正确反应,比如求解物理、化学题目,往往要进行计算,因此,仅仅有物理、化学知识不够,还必须有计算能力;而数学考试时,可能不仅仅需要计算能力,还需要阅读理解能力、逻辑推理能力、空间想象能力等。更何况参加GRE考试,英语阅读理解是必需的,而正确反应又往往要逻辑推理或数学运算能力。在这些场合下单维IRT都无能为力,因为它只是一个简化的模型,这种模型有一定的适用范围,遇到更复杂的场合,可能要求多个潜在特质,即需要多维潜在特质模型才能较好地描述相应的问题,于是多维项目理论便逐渐地发展起来。

多维IRT是在因素分析(Factor Analysis)和IRT的双重背景之下发展起来的,多维项目反应模型的提出是为了更好地对被试在完成一项测验任务时需要的多种能力、项目特征与答对概率之间的关系进行模型化[3]。多维项目反应理论为测验中所涉及的每个维度引入能力和项目区分度参数,进而模拟测验题目和被试之间的交互作用,多维项目反应模型是一个非线性的用来表征题目参数、测试者的多维潜在能力以及其正确作答概率之间关系的数学模型,通过这个模型可以使我们对测试者的多个特质进行分别的推断。与单维度项目反应理论不同,在多维项目反应模型中,测试者的能力可以表征为一组能力向量。也就是说,利用多维项目反应模型能同时估计被试在多个维度上的能力参数,并且考虑各能力维度之间的关系,因此如果测验数据是多维的,则多维模型能更有效地估计被试及项目参数。

MIRT可以看作是结构方程模型或FA的特例,同时也是单维IRT的拓展,它兼具两者的特征[4]。因为,当用假设的结构向量来描述被试特质时,MIRT可看作是由描述被试与两点计分项目之间交互效应的一般经典模型构成的。而另一方面,测验项目的特质是用一系列项目参数和函数形式来描述的,这些项目参数和函数形式是与被试在多维特质空间中的位置以及被试对每个项目正确反应的概率相联系的。

3多维项目反应理论的发展

3.1多维项目反应模型

多维项目反应模型的提出是为了更好地对被试在完成一项测验任务时需要的多种能力、项目特征与答对概率之间的关系进行模型化,说到底是为了更深入地了解被试,结合多方面的信息,为对被试的评估或诊断提供有用的帮助。而被试在完成一项任务时,多种能力之间可能是存在某种关联的,这种关联是建立模型必须考虑的因素。因此,根据被试在完成任务时是如何应用这些能力的,可以把多维项目反应模型分成补偿性模型(Compensatory Multidimensional IRT ModelMIRT-C)和非补偿性模型(Noncompensatory Multidimensional IRT ModelMIRT-NC)两类[3]

非补偿性模型(MIRT-NC)假设完成某项任务需要多种技能,被试只有掌握了这个项目所涉及到的所有技能才能答对该题,这些技能之间是相互独立的,被试成功应用所有技能的联合概率就是在这些独立技能上成功的条件概率乘积。目前比较常用的多成分潜在特质模型(Multicomponent Latent Trait Model, MLTM)是一个典型的非补偿性模型。MLTM 是一种过程-结果模型,它实现了对被试的多个能力维度进行分解,模型参数估计最初是利用极大似然方法(ML)分别估计每个成分的能力参数,因而需要两种类型的数据:一是标准测量项目的反应,二是一系列代表能力成分的子测验的作答反应。然而,这种方法需要把能力成分分解为多个分测验,对被试施测多次,在实践中是很麻烦的。为此,Maris基于EM算法(最大期望算法Expectation Maximization Algorithm)开发了一个估计程序COLORA[5]。在EM算法中,MLTM能力成分的概率被当成缺省数据对待,成分参数就可以直接从标准测验中估计出而不需要分测验。但是,由于被试参数和项目参数是联合估计的,目前的COLORA版本仅限于大样本容量数据的处理。

补偿性模型(MIRT-C)是指测试者完成某项任务所需的能力之间可以相互补偿,也就是说在某一能力上的不足,可以被其他优势技能所补偿,从而增大他答对该题目的概率。当前广泛使用的补偿性模型主要有两种:McDonald的多维正态肩形(Multidimensional Normal OgiveMNO)模型和Reckase的多维Logistic模型。McDonald MNO模型通常也称为因子分析多维补偿性模型,因为该模型建立了IRT与因子分析之间的联系[6]

3.2多维项目反应理论在测验中的应用

在测验的结构或维度分析方面,在日常的教育和心理测验实践中,我们所用到的大多数测验工具本质上都是多维的。根据测验蓝图,如果子测验测量了不同的内容领域或认知技能,则这些项目有可能代表了不同的维度,这时应该执行对于每个项目正确反应所需的内容领域和认知技能的彻底分析。维度分析应该是每个测验施行后所执行的标准分析系列的一部分,所有测验数据矩阵都需要多维模型来精确地反应测试者和测验项目的交互作用,即使那些只报告单一分数的测验以及应用单维IRT模型来报告分数的测验,都具有复杂的内容细目,因此意味着测验项目的正确反应需要多重技能和知识,此时也需要应用多维模型来对项目反应数据模型化。由于MIRT关注测验项目与被试特质的交互作用,它同时兼具FAIRT的双重特征,MIRT不仅可以提供效度证据,而且可以为测验发展过程反馈信息[7]。因此MIRT已经被成功地应用于检测测验项目所需属性的方法当中。

在项目功能差异(Difference of Item FunctionDIF)的侦查方面,MIRT为描述产生DIF的原因提供了本质上的解释,认为造成项目出现DIF的原因就是它测量的维度超出了我们的测量目标。ShealyStout提出了DIF分析的多维模型方法(Multidimensional model for DIFMMD)[4] MMDDIF发生的原因进行了理论上的解释,它把DIF定义为:首先,项目不但对主维度(即目标维度)敏感,而且对次维度(非目标维度)敏感,其次,当给定相同的主维度分布时,两个不同的测试组在次维度上的条件分布存在差异。这与以前DIF研究中的定义有着不同之处,即它强调了次维度是在条件分布的情形下存在差异,而以前的定义虽然认为造成存在DIF的原因是由于项目测量的维度过多,但在具体分析DIF的存在与否时,把次维度与主维度分开来单独进行考查。

针对多维项目反应理论,可以根据专门的MIRT参数估计MCMC自编程序以及适合MIRT的资料模型来对具体测验结果进行分析。以瑞文高级推理测验为例,在对被试施测后,用上面提到的分析工具进行分析,并借助专门的拟合检验统计量指标,可以看出测验数据与模型是否拟合,然后借助多维区分度指标,根据结论进行进一步分析,分析具体的MIRT项目参数[8]MIRT不仅可以分析每个题目的整体区分度,而且可以细致分析每个题目在每个能力维度上的区分度情况,这对于分析心理测验项目的认知成分以及进一步筛选或编制相应试题提供了丰富信息,对心理测验的编制也具有重要的指导意义。

4总结

4.1小结

传统IRT只能提供一个能力维度或结构上的信息,因此在使用传统IRT分析多维数据时,会导致对被试能力的错误推断,这种错误主要发生在那些次维度上能力不同的测试者身上。MIRT引入多维能力和多维项目区分度参数,进而模拟测验题目和测试者建的交互作用,采用概率函数模型来表征具有特定多维能力测试者正确答对特定项目的概率[8]MIRT可以同时估计测试者的多个特质或维度上的能力值,并考虑各能力维度间的关系,因此对于多维心理测验数据,MIRT可以更有效地估计测试者及测验项目的测量学参数,这对于心理测验编制以及开发具有重要意义,值得借鉴和推广。

4.2展望

尽管许多研究者相信大多数教育和心理测验都测量了多重结构或维度,MIRT在测验实践中的作用也显而易见,但与心理计量学的其他领域相比,MIRT仍然处于早期发展阶段,有许多问题需要处理。

第一,关于多维项目反应理论中的项目信息函数方面的研究。由于在多维等级模型(Multidimensional Grade Response Model MGRM)中涉及到了方向向量,这样,在项目参数已知的条件下,项目信息量的大小是方向向量和能力参数向量的函数[9]。因此,最大信息量以及基于最大信息量的计算机自适应测验选题策略的问题是需要研究的问题。另外,在固定方向向量之后,项目难度参数与能力参数的匹配模式将如何影响项目信息量的大小都有待进一步深入研究。

第二,关于多维项目反应模型的研究。早期的大多数MIRT模型都是非补偿性的,一个重要的原因就是早期诊断测验多数是用在数学领域,而完成一个数学题目是需要几个能力成分联合起作用的。随着IRT在其他领域应用的扩展,如语言艺术领域、阅读理解任务、医学及心理学诊断等领域经常包括多维的补偿性能力,再加上非补偿性模型缺乏数学上的易处理性,从而导致了目前研究文献中补偿性多维模型占据了主导地位的局面[5]。但是既然两类模型既有区别又有联系,如果能将二者互相融合,取长补短,于是如何发展适当的模型将二者融合成为学者们关心的研究问题。

第三,关于多维项目反应理论参数估计以及相应参数估计软件开发方面的研究。国外对MIRT的大多数研究都集中在二级记分上,已开发的多种MIRT的参数估计软件,NOHARMTESTFACTBMIRT等也都只适应于二级记分的MIRT模型[10]。因此,把已有的单维等级反应模型的参数估计方法移植到多维等级反应模型中并编制相应的计算机程序是十分有意义的[11]

参考文献

[1]苏昭,刘燕.项目反应理论研究综述[J].江西科技学院学报,2013,8(2):45-48.

[2]黄建丹.项目反应理论简介[J].教学实践研究,2011,2(17):271-272.

[3]康春花,辛涛.测验理论的新发展-多维项目反应理论[J].心理科学进展,2010,18(3):580-585.

[4]涂冬波,蔡艳,戴海琦,等.项目反应理论新进展-基于3PLM和GRM的混合模型[J].心理科学,2011,34(5):1433-1435.

[5]程心亮.多维项目反应理论模型的信息函数[D].[重庆]:西南大学,2014.

[6]涂冬波,蔡艳,戴海琦,等.多维项目反应理论:参数估计及其在心理测验中的应用[J].心理学报,2011,43(11):

1329-1340.

[7]詹沛达,王文中,王立君.项目反应理论新进展之题组反应理论[J].心理科学进展,2013, 21(12):2265-2280.

[8]涂冬波,蔡艳,漆书青,.项目反应理论新进展-题组模型及其参数估计的实现[J].心理科学,2009,32(6):530-535.

[9]丁树良,罗芬编.现代心理测量理论与技术丛书[M].北京:北京师范大学,2012,109-125.

[10]杜文久,肖涵敏.多维项目反应理论等级反应模型[J].心理学报,2012,44(10):1402-1407.

[11]潘浩.高阶IRT模型-项目反应理论的新进展[J].考试研究,2014,43(2):59-63.

 

New Development in Item Response Theory: 

Multidimensional Item Response Theory

Jia Wenmei

Abstract: with the wide use of Item Response Theory in our practical work, people began to realizethat 

traditional Item Response Theory was based on single trait namely onedimensional hypothesis, which

doesn’t conform to the reality, somultidimensional Item ResponseTheory arose at the right moment.

multidimensional Item Response Theory describesthe relationshipbetween test items and multidimensional

traits when the subject is performing a task, which is more exact than traditional Item Response Theory. 

At Present, the multidimensional Item Response Modelcan be divided intotwotypes: compensatory and 

noncompensatory models. This paper will mainly talk about the development of multidimensional Item 

ResponseTheory and its prospect.

KeywordsItem Response Theory  Multidimensional Item Response Theory  

Item Response Model

上一条:民族认同研究的方法论述评

下一条:普通高校民族预科教育会考模式改革研究