[情境判斷測(cè)驗(yàn)的效度研究述評(píng)]情境教學(xué)省內(nèi)外研究述評(píng)
發(fā)布時(shí)間:2020-03-03 來(lái)源: 幽默笑話 點(diǎn)擊： 
摘要：情境判斷測(cè)驗(yàn)是一種為作答者呈現(xiàn)工作相關(guān)的典型情境以及該情境下可能的行為反應(yīng)，要求根據(jù)指導(dǎo)語(yǔ)提示進(jìn)行選擇或評(píng)價(jià)的測(cè)驗(yàn)形式。隨著其理論和實(shí)踐的發(fā)展，研究者越來(lái)越關(guān)注情境判斷測(cè)驗(yàn)的效度研究，包括對(duì)其構(gòu)想效度、效標(biāo)關(guān)聯(lián)效度和遞增效度的探討，以及指導(dǎo)語(yǔ)類(lèi)型、情境保真度以及計(jì)分方式等因素對(duì)其效度的影響�；谶@些研究進(jìn)展，未來(lái)情境判斷測(cè)驗(yàn)實(shí)踐領(lǐng)域可能的方向是：(1)開(kāi)發(fā)針對(duì)特定構(gòu)想的情境判斷測(cè)驗(yàn)；(2)結(jié)合具體構(gòu)想選用相應(yīng)的指導(dǎo)語(yǔ)；(3)應(yīng)用作假和培訓(xùn)對(duì)效度影響的研究結(jié)果指導(dǎo)實(shí)踐。
關(guān)鍵詞：情境判斷測(cè)驗(yàn)；構(gòu)想效度；效標(biāo)關(guān)聯(lián)效度；遞增效度
分類(lèi)號(hào)：B841
1、引言
情境判斷測(cè)驗(yàn)(Situational Judgement Test)應(yīng)用于人事選拔領(lǐng)域已經(jīng)有較長(zhǎng)時(shí)間的歷史(e.g.，F(xiàn)ile，1945；Motowidlo，Dunnette，＆Carter，1990；Weekley＆Jones，1997，1999)。情境判斷測(cè)驗(yàn)是用來(lái)評(píng)價(jià)個(gè)體對(duì)工作場(chǎng)所情境所做出的判斷(Weekley＆Ployhan，2006)。它為個(gè)體呈現(xiàn)的是一些工作相關(guān)的典型情境以及該情境下可能的行為反應(yīng)，要求作答者根據(jù)指導(dǎo)語(yǔ)提示進(jìn)行選擇或評(píng)價(jià)。由于事先給定某一刺激情境下具體的行為反應(yīng)，來(lái)供作答者選擇或評(píng)定，而不是像評(píng)價(jià)中心那樣，觀察、評(píng)價(jià)作答者在刺激情境下真實(shí)的行為，因此，情境判斷測(cè)驗(yàn)屬于一種低保真度的模擬(Lievens，Peeters，＆Schollaert，2008)。早期，和其他用于軍事、教育、商業(yè)等多個(gè)領(lǐng)域人員選拔的測(cè)驗(yàn)一樣，人們關(guān)注的僅僅是情境判斷測(cè)驗(yàn)的預(yù)測(cè)效度，即通過(guò)一個(gè)測(cè)驗(yàn)挑選出來(lái)的人是否能夠很好地應(yīng)對(duì)將來(lái)的實(shí)際工作。這就造成了對(duì)情境判斷測(cè)驗(yàn)的研究應(yīng)用走在了理論的前面：一方面，缺乏系統(tǒng)的理論基礎(chǔ)，另一方面，測(cè)驗(yàn)的本質(zhì)不是十分清楚。
近年來(lái)，隨著整體效度觀念的成熟(AmericanEducational Research Association，AmericanPsychological Association，＆National Council 0nMeasurement in Education，1999；Society forIndustrial and Organizational Psychology，Inc.，2003)以及人事測(cè)量構(gòu)想導(dǎo)向(construct－oriented)(e.g.，Anastasi＆Urbina，1997；Arthur＆Villado，2008；Huffcutt，Conway，＆Stone，2001)的興起，人們不再僅僅關(guān)注情境判斷測(cè)驗(yàn)的預(yù)測(cè)效度，也對(duì)其測(cè)量的實(shí)質(zhì)即構(gòu)想效度的研究提出了更高的要求。同樣，在測(cè)驗(yàn)的實(shí)際開(kāi)發(fā)過(guò)程中，人們也不再滿足于傳統(tǒng)的基于工作分析的開(kāi)發(fā)模式，希望能夠針對(duì)實(shí)際需要開(kāi)發(fā)更加具體化的情境判斷測(cè)驗(yàn)。
無(wú)論是理論發(fā)展還是實(shí)際需要，都對(duì)情境判斷測(cè)驗(yàn)的進(jìn)一步研究提出了迫切要求。一些制約情境判斷測(cè)驗(yàn)今后發(fā)展的關(guān)鍵問(wèn)題被推到了研究者面前：情境判斷測(cè)驗(yàn)究竟測(cè)量到的是什么?它為什么能夠預(yù)測(cè)工作績(jī)效?又有哪些因素會(huì)影響到其效度?本文試圖在前人研究的基礎(chǔ)上，圍繞情境判斷測(cè)驗(yàn)的效度，從相關(guān)理論、效度證據(jù)、影響效度因素等方面進(jìn)行探討。
2、相關(guān)理論進(jìn)展
近幾年，學(xué)者們開(kāi)始重視對(duì)情境判斷測(cè)驗(yàn)的理論基礎(chǔ)和本質(zhì)的研究。主要代表為，自上世紀(jì)90年代之后，Motowidlo等人提出情境判斷測(cè)驗(yàn)遵循行為一致性原則和隱性特質(zhì)理論，以及諸多學(xué)者圍繞情境判斷測(cè)驗(yàn)是一種方法還是構(gòu)想的探討。
Motowidlo等人(1990)基于關(guān)鍵事件分析和專(zhuān)家的判斷編制了一套用于選拔電信行業(yè)初級(jí)經(jīng)理的情境判斷測(cè)驗(yàn)，結(jié)果顯示，作答者在各個(gè)情境上的得分與其上級(jí)評(píng)定之間的相關(guān)為0.28到0.37 p＜0.01)，即情境判斷測(cè)驗(yàn)在一定程度上預(yù)測(cè)了個(gè)體的工作表現(xiàn)。為了解釋這一結(jié)果，Motowidlo等人提出情境判斷測(cè)驗(yàn)題目是基于實(shí)際工作情境中的行為反應(yīng)并要求作答者根據(jù)其慣有行為模式進(jìn)行評(píng)價(jià)或選擇，它遵循行為一致性的原則(即過(guò)去的行為是將來(lái)行為最好的預(yù)測(cè))。也就是說(shuō)通過(guò)測(cè)量個(gè)體現(xiàn)在的行為，就可以預(yù)測(cè)他在將來(lái)的表現(xiàn)。
情境判斷測(cè)驗(yàn)的結(jié)果除了可以在一定程度上預(yù)測(cè)工作績(jī)效，還與認(rèn)知能力測(cè)驗(yàn)和人格測(cè)驗(yàn)的結(jié)果存在較高的相關(guān)(Chan，2006；Ployhart＆Weekley，2006)。由Motowidlo，Hooper和Jackson(2006)提出的隱性特質(zhì)理論(implicit trait policy)，在一定程度上解釋了情境判斷測(cè)驗(yàn)的結(jié)果和人格測(cè)驗(yàn)有較高相關(guān)的原因。隱性特質(zhì)理論認(rèn)為個(gè)體在人格特質(zhì)上的差別影響了其對(duì)那些顯示出這一人格特質(zhì)的行為有效性的判斷。如，表現(xiàn)出高宜人性的行為確實(shí)比低宜人性的行為更有效，那些宜人性高的個(gè)體較宜人性低的個(gè)體在評(píng)價(jià)行為有效性的時(shí)候，會(huì)賦予宜人性以更高的權(quán)重，即他們會(huì)給表現(xiàn)出高宜人性的行為反應(yīng)更高的評(píng)價(jià)。而給低宜人性的反應(yīng)更低的評(píng)價(jià)。
關(guān)于方法和構(gòu)想之間的爭(zhēng)論也是理解情境判斷測(cè)驗(yàn)研究的關(guān)鍵所在。構(gòu)想指的是測(cè)量的心理或行為維度(如一般智力、責(zé)任心、成就動(dòng)機(jī)等)；方法指的是測(cè)量某一構(gòu)想的特定過(guò)程或是技術(shù)(如面試、紙筆測(cè)試、基于情境的測(cè)驗(yàn)等)。一些研究者認(rèn)為情境判斷測(cè)驗(yàn)測(cè)量的是一種單一的構(gòu)想。如，Steinberg和Wagner(1993)指出情境判斷測(cè)驗(yàn)測(cè)量的是不同于一般智力的實(shí)踐智力(pracdcalintelligence)，而Schmidt和Hunter(1993)則認(rèn)為其主要測(cè)量的是工作知識(shí)(job knowledge)。然而，這些事后被證明是沒(méi)有足夠證據(jù)支持的(Gottfredson，2003；McDaniel＆Whetzel，2005)，因?yàn)榍榫撑袛鄿y(cè)驗(yàn)測(cè)量的是多維構(gòu)想而且往往與一般智力相關(guān)。很多多維構(gòu)想的測(cè)驗(yàn)，如大五人格測(cè)驗(yàn)構(gòu)想非常清晰，包含責(zé)任心、宜人性、情緒穩(wěn)定性、外傾性和神經(jīng)質(zhì)五個(gè)維度，然而情境判斷測(cè)驗(yàn)卻往往很難被清晰地界定，這就帶來(lái)了兩個(gè)問(wèn)題：一是很難從根本上解釋情境判斷測(cè)驗(yàn)?zāi)軌蜉^好預(yù)測(cè)工作績(jī)效的原因；二是較難編制和已有測(cè)驗(yàn)測(cè)量相同構(gòu)想的新測(cè)驗(yàn)。Schmitt和Chan(2006)指出，情境判斷測(cè)驗(yàn)就像面試一樣，是一種可以用來(lái)測(cè)量不同構(gòu)想的方法，這一方法本身同時(shí)又限制了其可以測(cè)量的構(gòu)想。這一觀點(diǎn)自提出后在學(xué)術(shù)界逐漸被接受(Christian，Edwards，＆Bradley，2010；Whetzel＆McDaniel，2009)。
3、效度研究
教育和心理測(cè)量標(biāo)準(zhǔn)(The Standards forEducational and Psychological Testing)將效度定義 為“測(cè)驗(yàn)的分?jǐn)?shù)能夠?yàn)闇y(cè)驗(yàn)用途提供解釋所累計(jì)證據(jù)和理論支持的程度”，人事選拔程序使用效度準(zhǔn)則(the Principles for the Validation and Use of Personnel Selection Procedures)對(duì)效度的界定也是類(lèi)似的，即效度被定義為一個(gè)整體的概念，為測(cè)驗(yàn)分?jǐn)?shù)的結(jié)論提供各種來(lái)源的證據(jù)。本文采用的便是這種整體的效度觀念，從與構(gòu)想相關(guān)的構(gòu)想效度，與工作績(jī)效相關(guān)的效標(biāo)關(guān)聯(lián)效度以及相對(duì)于認(rèn)知能力和人格測(cè)驗(yàn)的遞增效度的角度。對(duì)情境判斷測(cè)驗(yàn)的效度進(jìn)行全面探討。
3.1 構(gòu)想效度
為了更好地理解情境判斷測(cè)驗(yàn)如何在人事選拔中發(fā)揮作用以及原因。必須要澄清情境判斷測(cè)驗(yàn)測(cè)量的典型構(gòu)想(Chrisfian et al.，2010)。近年來(lái)研究人員越來(lái)越重視對(duì)情境判斷測(cè)驗(yàn)構(gòu)想的探討，并進(jìn)行了許多研究(e.g.，Arthur＆Villado，2008；Hough＆Ones，2001；McDaniel，Morgeson，F(xiàn)innegan，Campion，＆Braverman，2001；McDaniel，Hartman，Whetzel，＆Grubb，2007)。
國(guó)外有三個(gè)元分析(McDaniel et al.，2001；McDaniel et al.，2007；McDaniel＆Nguyen，2001)對(duì)情境判斷測(cè)驗(yàn)測(cè)量構(gòu)想方面的效度證據(jù)進(jìn)行了總結(jié)。McDaniel等人(2001)指出情境判斷測(cè)驗(yàn)和一般智力之間0.31的平均相關(guān)顯示它在一定程度上測(cè)量的是一般智力，然而，情境判斷測(cè)驗(yàn)有一些變異又是與一般智力無(wú)關(guān)的。McDaniel和Nguyen(2001)指出行為導(dǎo)向和知識(shí)導(dǎo)向的兩類(lèi)情境判斷測(cè)驗(yàn)指導(dǎo)語(yǔ)會(huì)影響其構(gòu)想效度。知識(shí)導(dǎo)向的指導(dǎo)語(yǔ)要求作答者選擇正確的或最好的行為反應(yīng)或者要求其對(duì)行為的有效性進(jìn)行評(píng)定；行為導(dǎo)向的指導(dǎo)語(yǔ)要求作答者選擇出他最可能(傾向于)采取的行為反應(yīng)或?qū)ζ淇赡苄赃M(jìn)行評(píng)定。
McDanieI等人(2007)繼續(xù)沿著這一思路進(jìn)行了研究，進(jìn)一步比較了分別采取兩種指導(dǎo)語(yǔ)的情境判斷測(cè)驗(yàn)的分?jǐn)?shù)和認(rèn)知能力和人格測(cè)驗(yàn)分?jǐn)?shù)之間的關(guān)系。研究發(fā)現(xiàn)，兩種類(lèi)型的情境判斷測(cè)驗(yàn)與大五人格測(cè)驗(yàn)的三個(gè)維度(情緒穩(wěn)定性、責(zé)任心、宜人性)和認(rèn)知能力測(cè)驗(yàn)分?jǐn)?shù)之間的相關(guān)存在顯著性差異。行為導(dǎo)向的情境判斷測(cè)驗(yàn)顯示出與人格測(cè)驗(yàn)之間更高的關(guān)聯(lián)(0.35 vs 0.12，0.34 vs0.24，0.37 vs 0.19)，而知識(shí)導(dǎo)向的測(cè)驗(yàn)則顯示出與認(rèn)知能力測(cè)驗(yàn)更高的相關(guān)。研究結(jié)果顯示，可以通過(guò)改變指導(dǎo)語(yǔ)進(jìn)而改變情境判斷測(cè)驗(yàn)測(cè)量的構(gòu)想。知識(shí)型指導(dǎo)語(yǔ)測(cè)量的最優(yōu)行為，有較高的認(rèn)知負(fù)荷；而行為型指導(dǎo)語(yǔ)測(cè)量的是慣常的行為，更吻合行為一致性的假設(shè)。
除了通過(guò)元分析直接計(jì)算情境判斷測(cè)驗(yàn)分?jǐn)?shù)和認(rèn)知測(cè)驗(yàn)、人格測(cè)驗(yàn)分?jǐn)?shù)之間的相關(guān)來(lái)探討其測(cè)量構(gòu)想外，近年來(lái)，為了進(jìn)一步研究清楚情境判斷測(cè)驗(yàn)的構(gòu)想效度，學(xué)者們還做了許多不同角度的嘗試。
一方面體現(xiàn)在測(cè)驗(yàn)內(nèi)容上，不少學(xué)者開(kāi)發(fā)了專(zhuān)門(mén)測(cè)量特定構(gòu)想的測(cè)驗(yàn)。如，Ascalon(2005)開(kāi)發(fā)了測(cè)量同情心和種族優(yōu)越感的情境判斷測(cè)驗(yàn)來(lái)考察跨文化的社會(huì)智力；Becker(2005)開(kāi)發(fā)了測(cè)量員工正直的情境判斷測(cè)驗(yàn)；Mumford，Morgeson，Van Iddekinge和Campion(2008)開(kāi)發(fā)了用于測(cè)量團(tuán)隊(duì)合作的情境判斷測(cè)驗(yàn)。另一方面體現(xiàn)在研究思路上，學(xué)者們?cè)噲D通過(guò)細(xì)化反應(yīng)過(guò)程、分解分?jǐn)?shù)變異進(jìn)而從更深層次理解情境判斷測(cè)驗(yàn)的構(gòu)想。Ployhart和Weekley(2006)提出的預(yù)測(cè)源反應(yīng)過(guò)程模型(the Predictor Response Process Model)，旨在從被試作答反應(yīng)過(guò)程的角度來(lái)獲得效度證據(jù)(substantive validity)。預(yù)測(cè)源反應(yīng)過(guò)程模型將被試的反應(yīng)過(guò)程劃分為理解、提取、判斷、選擇反應(yīng)四個(gè)過(guò)程，將分?jǐn)?shù)的總變異分解為污染源變異、研究感興趣的個(gè)體潛在特質(zhì)造成的變異(真分?jǐn)?shù)變異)和參加測(cè)驗(yàn)動(dòng)機(jī)帶來(lái)的變異，這三方面的變異在不同的程度上影響著上述四個(gè)過(guò)程。通過(guò)對(duì)反應(yīng)過(guò)程和分?jǐn)?shù)變異的細(xì)致劃分，來(lái)研究影響情境判斷測(cè)驗(yàn)分?jǐn)?shù)的因素，進(jìn)而更好地理解情境判斷測(cè)驗(yàn)的分?jǐn)?shù)和構(gòu)想效度。例如，不同類(lèi)型的指導(dǎo)語(yǔ)會(huì)影響到個(gè)體反應(yīng)的理解、提取和判斷的過(guò)程。在被試誠(chéng)實(shí)作答的情況下，行為型指導(dǎo)語(yǔ)的情境判斷測(cè)驗(yàn)，被試的這三個(gè)過(guò)程主要是受到人格因素的影響，相反，接受知識(shí)型指導(dǎo)語(yǔ)測(cè)驗(yàn)的被試，這三個(gè)過(guò)程主要是受到認(rèn)知因素的影響。Westring，Oswald，Schmitt，Drzakowski，Imus，Kim和Shivpuri(2009)采取多質(zhì)多法的研究范式，運(yùn)用結(jié)構(gòu)方程模型的方法對(duì)測(cè)量成就動(dòng)機(jī)的情境判斷測(cè)驗(yàn)進(jìn)行了變異分解，分解為情境變異(跨學(xué)生)和特質(zhì)變異(跨情境)。研究結(jié)果表明，情境因素帶來(lái)的變異是個(gè)體因素變異的三倍，研究結(jié)論也從另外一個(gè)角度為特質(zhì)或是情境決定行為提供了實(shí)證支持。
和評(píng)價(jià)中心一樣，情境判斷測(cè)驗(yàn)作為一種可以測(cè)量多種構(gòu)想的方法，在測(cè)驗(yàn)的應(yīng)用之初，人們并不十分重視其構(gòu)想效度，隨著測(cè)驗(yàn)的不斷發(fā)展以及測(cè)量領(lǐng)域構(gòu)想導(dǎo)向的興起，無(wú)論是應(yīng)用界還是理論界，人們?cè)絹?lái)越強(qiáng)烈地意識(shí)到研究清楚其構(gòu)想的重要性，盡管情境判斷測(cè)驗(yàn)的構(gòu)想還有許多有待進(jìn)一步研究的問(wèn)題，但前人所作的努力為今后的研究提供了寶貴的資料和可以借鑒的思路。
3.2 效標(biāo)關(guān)聯(lián)效度
選拔測(cè)驗(yàn)要回答的一個(gè)關(guān)鍵問(wèn)題是通過(guò)該選拔過(guò)程是否能夠很好地預(yù)測(cè)工作相關(guān)的指標(biāo)，即該測(cè)驗(yàn)的效標(biāo)關(guān)聯(lián)效度如何(Lievens，Peeters，＆Schollaert，2008)。有大量研究對(duì)情境判斷測(cè)驗(yàn)的這一問(wèn)題進(jìn)行了探討。McDaniel等人(2001)基于95個(gè)研究的數(shù)據(jù)進(jìn)行了第一個(gè)關(guān)于情境判斷測(cè)驗(yàn)效標(biāo)關(guān)聯(lián)效度的元分析，校正后情境判斷測(cè)驗(yàn)分?jǐn)?shù)與工作績(jī)效之間的相關(guān)是0.34(未校正時(shí)是0.26)。McDaniel等人(2007)在118個(gè)研究的基礎(chǔ)上再次對(duì)情境判斷測(cè)驗(yàn)進(jìn)行了元分析，不考慮指導(dǎo)語(yǔ)類(lèi)型的前提下，效標(biāo)關(guān)聯(lián)效度系數(shù)達(dá)到了0.26。將所有118項(xiàng)研究全部納入分析的情況下，兩種類(lèi)型指導(dǎo)語(yǔ)情境判斷測(cè)驗(yàn)的效標(biāo)關(guān)聯(lián)效度并無(wú)顯著性差異，而當(dāng)將情境判斷測(cè)驗(yàn)的內(nèi)容保持一致時(shí)，知識(shí)型情境判斷測(cè)驗(yàn)有更好的效標(biāo)關(guān)聯(lián)效度。因此，為了進(jìn)一步弄清楚指導(dǎo)語(yǔ)類(lèi)型對(duì)情境判斷測(cè)驗(yàn)效標(biāo)關(guān)聯(lián)效度的影響，需要統(tǒng)一具體測(cè)驗(yàn)的內(nèi)容，即在同一個(gè)研究中，使用情境內(nèi)容相同指導(dǎo)語(yǔ)類(lèi)型不同的研究材料對(duì)被試施測(cè)，進(jìn)而比較。
除了上述兩個(gè)圍繞情境判斷測(cè)驗(yàn)效標(biāo)關(guān)聯(lián)效度的元分析之外，隨著相關(guān)理論的不斷發(fā)展，研究人員還從許多新的角度進(jìn)行了研究。
人們?cè)絹?lái)越意識(shí)到工作績(jī)效不是一個(gè)簡(jiǎn)單的整體，而是可以進(jìn)一步分解為兩個(gè)具體維度： 任務(wù)績(jī)效和關(guān)系績(jī)效(Borman＆Motowidlo，1993)。已有研究表明，一些構(gòu)想與這兩個(gè)績(jī)效之問(wèn)的關(guān)聯(lián)存在差別，如，認(rèn)知能力與任務(wù)績(jī)效存在高相關(guān)，而非認(rèn)知能力，如責(zé)任心則在關(guān)系績(jī)效上對(duì)認(rèn)知能力有遞增效度。O"Connell，McDaniel，Grubb，Hartman和Lawrence(2007)研究了情境判斷測(cè)驗(yàn)與這兩種績(jī)效之間的相關(guān)，結(jié)果表明，與任務(wù)績(jī)效的相關(guān)為0.14，而與關(guān)系績(jī)效為0.10。
Christian等人(2010)在前人研究的基礎(chǔ)上，對(duì)前人研究按照測(cè)量的構(gòu)想進(jìn)行了分類(lèi)梳理，并將工作績(jī)效進(jìn)一步細(xì)分為任務(wù)績(jī)效、關(guān)系績(jī)效和管理績(jī)效，進(jìn)而對(duì)每類(lèi)情境判斷測(cè)驗(yàn)相應(yīng)的效標(biāo)關(guān)聯(lián)效度進(jìn)行了元分析。結(jié)果顯示，測(cè)量團(tuán)隊(duì)工作技能時(shí)，效標(biāo)關(guān)聯(lián)效度最高，達(dá)到0.38；測(cè)量領(lǐng)導(dǎo)力的平均效度為0.28；測(cè)量人際交往技能時(shí)為0.25；測(cè)量責(zé)任心的為0.24；測(cè)量工作知識(shí)和技能的為0.19；人格整體為0.43；情境判斷測(cè)驗(yàn)整體為0.28。并且當(dāng)將績(jī)效區(qū)分為任務(wù)績(jī)效、關(guān)系績(jī)效和管理績(jī)效之后，測(cè)量人際交往能力、團(tuán)隊(duì)工作能力和領(lǐng)導(dǎo)力的情境判斷測(cè)驗(yàn)較那些構(gòu)想不清楚的情境判斷測(cè)驗(yàn)，對(duì)關(guān)系績(jī)效有更好的效標(biāo)關(guān)聯(lián)效度；而測(cè)量領(lǐng)導(dǎo)力和人際交往能力的情境判斷測(cè)驗(yàn)和那些構(gòu)想不清楚的情境判斷測(cè)驗(yàn)相比，能夠較好地預(yù)測(cè)管理績(jī)效；而在探討任務(wù)績(jī)效時(shí)，由于只有一個(gè)實(shí)證研究，無(wú)法得出結(jié)論。
此外，以往關(guān)于情境判斷測(cè)驗(yàn)效標(biāo)關(guān)聯(lián)效度的研究大多是同時(shí)效度的研究，即被試為在職者，而不是對(duì)真實(shí)應(yīng)聘者的預(yù)測(cè)效度的研究。然而，在職者和應(yīng)聘者在動(dòng)機(jī)水平上是存在較大差別的，這也很有可能會(huì)造成研究結(jié)果的差別。如，關(guān)于兩種類(lèi)型指導(dǎo)語(yǔ)效標(biāo)關(guān)聯(lián)效度的研究中，Ployhart和Ehrhart(2003)的研究結(jié)果顯示行為型指導(dǎo)語(yǔ)表現(xiàn)出更高的效標(biāo)關(guān)聯(lián)效度：而Lievens和Sackett(2007)在高壓力情境下施測(cè)的結(jié)果是，二者并無(wú)顯著差異。當(dāng)然，不同的求職動(dòng)機(jī)和壓力水平，或者說(shuō)在職者和應(yīng)聘者之間的差別，究竟會(huì)給情境判斷測(cè)驗(yàn)的效標(biāo)關(guān)聯(lián)效度帶來(lái)怎樣的影響，我們還需要后續(xù)的研究來(lái)進(jìn)一步解答。
3.3 遞增效度
為了更好地研究和應(yīng)用情境判斷測(cè)驗(yàn)，研究者們不僅關(guān)注它的預(yù)測(cè)效度和構(gòu)想效度，還關(guān)注情境判斷測(cè)驗(yàn)對(duì)廣泛使用的認(rèn)知能力測(cè)驗(yàn)和人格測(cè)驗(yàn)(大五)的遞增效度。遞增效度是指一個(gè)測(cè)驗(yàn)在其它數(shù)據(jù)的基礎(chǔ)上對(duì)效標(biāo)預(yù)測(cè)能力的改進(jìn)程度(Hunsley，2003)。McDaniel等人的兩個(gè)元分析(2001，2007)和一些實(shí)證研究(chan＆Schmitt，2002；Clevenger＆Haaland，2000；O"Connell，McDaniel，Grubb，Hartman，＆Lawrence，2002；Weekley＆Jones，1997，1999)就情境判斷測(cè)驗(yàn)的遞增效度進(jìn)行了詳細(xì)地探討。
McDaniel等人(2007)分析了情境判斷測(cè)驗(yàn)對(duì)認(rèn)知能力、大五人格以及這二者合成后的遞增效度；同時(shí)，他們還探討了認(rèn)知能力和大五人格對(duì)情境判斷測(cè)驗(yàn)的遞增效度。研究結(jié)果顯示，情境判斷測(cè)驗(yàn)對(duì)認(rèn)知能力、人格以及這二者共同都具有一定的遞增效度，且受到不同指導(dǎo)語(yǔ)類(lèi)型的影響。行為型指導(dǎo)語(yǔ)的情境判斷測(cè)驗(yàn)對(duì)認(rèn)知能力的遞增效度更大(0.05 vs 0.03，)，而知識(shí)型指導(dǎo)語(yǔ)的測(cè)驗(yàn)對(duì)人格的遞增效度更大(0.07 vs 0.06)，無(wú)論是哪種指導(dǎo)語(yǔ)的情境判斷測(cè)驗(yàn)對(duì)同時(shí)包含認(rèn)知能力和大五人格測(cè)驗(yàn)時(shí)的遞增效度均減弱，且不再存在顯著性差異。
O＇Connell等人(2007)進(jìn)一步研究了將工作績(jī)效劃分為任務(wù)績(jī)效和關(guān)系績(jī)效后，情境判斷測(cè)驗(yàn)對(duì)認(rèn)知能力和人格的遞增效度。結(jié)果表明，就任務(wù)績(jī)效而言，認(rèn)知能力測(cè)驗(yàn)的效度為0.15，情境判斷測(cè)驗(yàn)對(duì)其遞增效度為0.03，人格測(cè)驗(yàn)的效度為0.18，情境判斷測(cè)驗(yàn)對(duì)其遞增效度為0.04，人格測(cè)驗(yàn)和認(rèn)知能力測(cè)驗(yàn)共同的效度為0.20，情境判斷測(cè)驗(yàn)對(duì)其遞增效度為0.01；對(duì)關(guān)系績(jī)效而言，認(rèn)知能力測(cè)驗(yàn)的效度為0.07，情境判斷測(cè)驗(yàn)對(duì)其遞增效度為0.04，情境判斷測(cè)驗(yàn)對(duì)人格測(cè)驗(yàn)以及人格測(cè)驗(yàn)和認(rèn)知測(cè)驗(yàn)的合成均不存在遞增效度。在預(yù)測(cè)任務(wù)績(jī)效時(shí)，情境判斷測(cè)驗(yàn)?zāi)軌蛟谌烁駵y(cè)驗(yàn)和認(rèn)知測(cè)驗(yàn)的基礎(chǔ)上，提供更多有利的支持；在預(yù)測(cè)關(guān)系績(jī)效時(shí)，作用則不大。
4、情境判斷測(cè)驗(yàn)效度的影響因素
通過(guò)上面對(duì)情境判斷測(cè)驗(yàn)效度研究的探討不難發(fā)現(xiàn)，指導(dǎo)語(yǔ)類(lèi)型在一定程度上影響著測(cè)驗(yàn)的效度，如知識(shí)型指導(dǎo)語(yǔ)的情境判斷測(cè)驗(yàn)與能力測(cè)驗(yàn)有更高的相關(guān)，對(duì)人格測(cè)驗(yàn)的遞增效度更大；而行為型指導(dǎo)語(yǔ)的情境判斷測(cè)驗(yàn)則與人格測(cè)驗(yàn)有更高的相關(guān)，對(duì)能力測(cè)驗(yàn)的遞增效度更大。除了測(cè)驗(yàn)的指導(dǎo)語(yǔ)類(lèi)型，還有一些其它因素會(huì)在不同的程度上對(duì)情境判斷測(cè)驗(yàn)的效度產(chǎn)生影響。
4.1 情境的保真度
不同情境判斷測(cè)驗(yàn)的情境保真度存在差別。情境保真度(fidelity)指的是測(cè)驗(yàn)對(duì)特定崗位所要求工作的還原程度。顯然，錄像版的情境判斷測(cè)驗(yàn)較紙筆版的有更高的保真度。
已經(jīng)有許多的學(xué)者對(duì)紙筆版和錄像版的情境判斷測(cè)驗(yàn)進(jìn)行了比較研究。Chan和Schmie(1997)通過(guò)比較這兩種不同形式的情境判斷測(cè)驗(yàn)發(fā)現(xiàn)，錄像版測(cè)驗(yàn)的缺陷更少，且參加實(shí)驗(yàn)的學(xué)生感覺(jué)到錄像版較紙筆版的測(cè)驗(yàn)有更高的表面效度。Lievens，Buyse和Sackett(2005)研究了在大學(xué)錄取考試中，錄像版情境判斷測(cè)驗(yàn)對(duì)認(rèn)知能力的遞增效度，結(jié)果發(fā)現(xiàn)，當(dāng)效標(biāo)中包含認(rèn)知和人際等因素，在對(duì)人際互動(dòng)相關(guān)課程的結(jié)果進(jìn)行預(yù)測(cè)時(shí)，錄像版的情境判斷測(cè)驗(yàn)對(duì)認(rèn)知測(cè)驗(yàn)有遞增效度，而在預(yù)測(cè)其它效標(biāo)時(shí)，則沒(méi)有遞增效度。這一研究結(jié)論從另外一個(gè)角度也說(shuō)明了，在研究效度時(shí)，不僅預(yù)測(cè)源的構(gòu)想會(huì)產(chǎn)生影響，效標(biāo)的選擇也很重要。
Lievens和Sackett(2006)還研究了在高壓力情境下，測(cè)量同樣內(nèi)容(人際交往能力)的錄像版和紙筆版情境判斷測(cè)驗(yàn)的預(yù)測(cè)效度。研究結(jié)果顯示。錄像版較紙筆版測(cè)試與認(rèn)知能力之間的相關(guān)更低(0.11 vs 0.18，)，而在預(yù)測(cè)效度上，錄像版的情境判斷測(cè)驗(yàn)較紙筆版的更高(0.34 vs 0.08)。
Christian等人(2010)采用元分析的技術(shù)，分析了測(cè)驗(yàn)的形式對(duì)測(cè)量不同構(gòu)想的情境判斷測(cè)驗(yàn)的影響。結(jié)果顯示，錄像版的情境判斷測(cè)驗(yàn)較紙筆版的與工作績(jī)效之間有更高的相關(guān)，如測(cè)量人際交往和領(lǐng)導(dǎo)力情境判斷測(cè)驗(yàn)，錄像版形式的測(cè)驗(yàn)都較紙筆版能夠更好地預(yù)測(cè)工作績(jī)效。
總的來(lái)講，情境判斷測(cè)驗(yàn)的情境保真度不僅影響其構(gòu)想效度還影響其效標(biāo)關(guān)聯(lián)效度。在預(yù)測(cè)工作績(jī)效方面，錄像版的情境判斷測(cè)驗(yàn)有更高的表面效度和對(duì)認(rèn)知能力的遞增效度。而在構(gòu)想效度方面，由于錄像版測(cè)驗(yàn)降低了對(duì)閱讀的要求，因此，有理由認(rèn)為其較紙筆版測(cè)驗(yàn)與認(rèn)知能力有較低的相關(guān)。當(dāng)然，在實(shí)際的應(yīng)用中，還必須衡量 開(kāi)發(fā)和實(shí)施錄像版情境判斷測(cè)驗(yàn)的成本。
4.2 計(jì)分方式
跟傳記式問(wèn)卷(Biodata)測(cè)試類(lèi)似，情境判斷測(cè)驗(yàn)通常并不存在明確的、基于專(zhuān)業(yè)知識(shí)的“正確”答案(Whetzel＆McDaniel，2009)。因此，有多種不同的計(jì)分方式，不同的計(jì)分方式可能會(huì)導(dǎo)致效度估計(jì)的差別(Bergman，Drasgow，Donovan，Henning，＆Juraska，2006)。通過(guò)研究多種計(jì)分方式。Bergman等人(2006)回顧了實(shí)證性計(jì)分(基于測(cè)驗(yàn)題目或反應(yīng)與效標(biāo)之間的相關(guān))，理論式計(jì)分(各個(gè)題目的設(shè)計(jì)基于一定的理論，或者能夠從理論的角度識(shí)別出最好或最差的反應(yīng))和基于專(zhuān)家的計(jì)分(采用關(guān)鍵事件專(zhuān)家的方法來(lái)確定計(jì)分，比較作答者和專(zhuān)家的選擇)。他們使用了包含21道測(cè)量領(lǐng)導(dǎo)能力的題目的情境判斷測(cè)驗(yàn)，來(lái)檢驗(yàn)當(dāng)采用不同的計(jì)分方式時(shí)，其對(duì)認(rèn)知能力和人格的遞增效度。研究結(jié)果顯示，使用實(shí)證性計(jì)分方式時(shí)，情境判斷測(cè)驗(yàn)?zāi)軌蛟谇皟蓚�(gè)測(cè)驗(yàn)的基礎(chǔ)上對(duì)效標(biāo)的變異多解釋2－3％，采用關(guān)鍵事件專(zhuān)家方式計(jì)分可多解釋4.9％，基于原始構(gòu)想整合的計(jì)分方式多解釋3.0％，基于參與者(participation)整合的計(jì)分方式多解釋1.7％。研究者認(rèn)為情境判斷測(cè)驗(yàn)的效度在一定程度上受到其計(jì)分方式的影響，當(dāng)計(jì)分方式有效性差時(shí)可能會(huì)導(dǎo)致情境判斷測(cè)驗(yàn)效度降低。
Legree，Psotka，Tremble和Bourne(2005)對(duì)比了基于總體的一致性(Consensus Based Measurement)和基于專(zhuān)家的計(jì)分方式，來(lái)確定這兩種方式對(duì)情境判斷測(cè)驗(yàn)效度的影響。在他們?cè)缙诘难芯恐�，他們比較了在一個(gè)包含49個(gè)情境、202個(gè)反應(yīng)的情境判斷測(cè)驗(yàn)中，少數(shù)專(zhuān)家的意見(jiàn)和所有作答者的平均評(píng)定，結(jié)果顯示二者之間存在顯著的相關(guān)(0.72)。之后他們?cè)?003年的一項(xiàng)軍隊(duì)中領(lǐng)導(dǎo)力隱性知識(shí)情境判斷測(cè)驗(yàn)的研究中，發(fā)現(xiàn)二者之間的相關(guān)達(dá)到了0.96。因此，他們認(rèn)為，選擇所有作答者平均分?jǐn)?shù)作為標(biāo)準(zhǔn)和基于專(zhuān)家計(jì)分之間是很難分清楚的。
Krokos，Meade。Cantwell，Pond和wilson(2004)研究了采用實(shí)證性計(jì)分方式的情況。他們認(rèn)為情境判斷測(cè)驗(yàn)通常測(cè)量的是個(gè)體在工作情境下的復(fù)雜的、社交或?qū)嵺`方面的表現(xiàn)，這與隱性知識(shí)的測(cè)量很難區(qū)分。當(dāng)情境判斷測(cè)驗(yàn)的計(jì)分鍵是基于關(guān)鍵事件專(zhuān)家的一致選擇時(shí)，最顯而易見(jiàn)的做法成為正確選項(xiàng)的概率增加。因此，當(dāng)由關(guān)鍵事件專(zhuān)家來(lái)確定正確答案時(shí)，越顯而易見(jiàn)的做法越可能被保留。然而，當(dāng)使用基于實(shí)證的計(jì)分方式時(shí)，那些最顯而易見(jiàn)的反應(yīng)可能會(huì)被大多數(shù)人選擇，績(jī)優(yōu)和一般作答者的選擇之間不存在顯著差異，即這樣的反應(yīng)不具有區(qū)分作用，會(huì)被賦予較低的分?jǐn)?shù)：相反，那些較少被選擇，但僅由績(jī)優(yōu)者選擇的反應(yīng)，會(huì)被賦予更高的分?jǐn)?shù)。
總之，正如不同指導(dǎo)語(yǔ)的情境判斷測(cè)驗(yàn)測(cè)量的構(gòu)想存在差別一樣(McDaniel et al.，2007)，不同的計(jì)分方式也會(huì)使情境判斷測(cè)驗(yàn)測(cè)量不同的構(gòu)想。
5、對(duì)實(shí)踐應(yīng)用的建議
5.1 開(kāi)發(fā)針對(duì)特定構(gòu)想的情境判斷測(cè)驗(yàn)
傳統(tǒng)的情境判斷測(cè)驗(yàn)大多是從工作分析出發(fā)，收集某一崗位的典型工作情境編制題目，并不指向特定的構(gòu)想。近些年來(lái)，隨著測(cè)量領(lǐng)域構(gòu)想導(dǎo)向的提出以及情境判斷測(cè)驗(yàn)的發(fā)展，人們?cè)絹?lái)越意識(shí)到僅僅滿足于傳統(tǒng)的開(kāi)發(fā)思路是不夠的。于是，有專(zhuān)家開(kāi)始編制用于測(cè)量特定構(gòu)想的測(cè)驗(yàn)，并逐漸得到了理論層面和應(yīng)用層面的廣泛認(rèn)可(Ascalon，2005；Becket，2005；Mumford et al.，2008)。
針對(duì)特定構(gòu)想開(kāi)發(fā)情境判斷測(cè)驗(yàn)，一方面有助于其構(gòu)想效度的研究，另一方面，也有助于對(duì)一些構(gòu)想的測(cè)量工具的發(fā)展。如，由于傳統(tǒng)的人格測(cè)驗(yàn)大多采取的是里克特式的自我評(píng)定方式，在選拔這樣高利害、高競(jìng)爭(zhēng)壓力的情境下使用，難免會(huì)遇到作假的問(wèn)題。于是就有人提出將人格測(cè)驗(yàn)情境化，不是直接詢問(wèn)作答者在某個(gè)人格維度上的情況，而是通過(guò)編制一些反映人格特質(zhì)的情境判斷測(cè)驗(yàn)，基于個(gè)體在這些測(cè)驗(yàn)上的作答，判斷其人格特質(zhì)(Motowidlo et al.，2006)。而且，因?yàn)闇y(cè)量的是明確的特定構(gòu)想。這就有助于基于理論上的關(guān)聯(lián)，針對(duì)性地選擇與之相應(yīng)的效標(biāo)，進(jìn)而得到更好的效度結(jié)果，如，用情境判斷測(cè)驗(yàn)測(cè)量人際交往能力時(shí)，測(cè)驗(yàn)結(jié)果能夠更好地預(yù)測(cè)關(guān)系績(jī)效(Christian et al.，2010)。
唐素萍(2004)比較詳細(xì)地介紹過(guò)傳統(tǒng)情境判斷測(cè)驗(yàn)的開(kāi)發(fā)程序，在這里，主要介紹開(kāi)發(fā)特定構(gòu)想的情境判斷測(cè)驗(yàn)和傳統(tǒng)方法之間的幾點(diǎn)區(qū)別：
①因?yàn)樗槍?duì)的是某個(gè)或某幾個(gè)具體構(gòu)想，因此，編制測(cè)驗(yàn)的第一步不是針對(duì)某個(gè)崗位的工作分析，而是基于該構(gòu)想的理論，收集能夠反映出這一構(gòu)想的典型情境，或者說(shuō)是能夠激發(fā)出特定構(gòu)想的情境：
�、趥鹘y(tǒng)的情境判斷測(cè)驗(yàn)的第二步是針對(duì)收集到的情境，通過(guò)開(kāi)放式問(wèn)卷或行為事件訪談(BEI)等方式收集在該情境下的行為反應(yīng)。這些反應(yīng)可能是各式各樣的；而在開(kāi)發(fā)針對(duì)特定構(gòu)想的測(cè)驗(yàn)時(shí)，這里要收集的行為反應(yīng)必須是能夠反映出該構(gòu)想的；
�、廴绻覀冞x取關(guān)鍵事件專(zhuān)家(SEMS)的方式確定計(jì)分鍵，在傳統(tǒng)的情況下，專(zhuān)家是對(duì)各個(gè)反應(yīng)的有效性進(jìn)行評(píng)價(jià)，而這里則是對(duì)各個(gè)反應(yīng)能夠反映出所測(cè)量構(gòu)想的程度進(jìn)行評(píng)定。
不難發(fā)現(xiàn)，傳統(tǒng)的情境判斷測(cè)驗(yàn)更多關(guān)注的是測(cè)驗(yàn)的有效性，即預(yù)測(cè)個(gè)體將來(lái)工作表現(xiàn)的程度；而針對(duì)特定構(gòu)想的測(cè)驗(yàn)則是為了更準(zhǔn)確地把握個(gè)體在特定構(gòu)想上體現(xiàn)的程度。
當(dāng)然，是不是所有維度都適用于情境判斷測(cè)驗(yàn)這種低保真度的測(cè)量形式?如果不是，究竟哪些維度更適合?這還需要更多的研究來(lái)進(jìn)一步探討。
5.2 結(jié)合測(cè)量構(gòu)想使用相應(yīng)的指導(dǎo)語(yǔ)
已有大量的研究結(jié)果表明(McDaniel et al.，2007；McDaniel＆Nguyen，2001)，不同的指導(dǎo)語(yǔ)類(lèi)型不僅會(huì)影響到情境判斷測(cè)驗(yàn)的效標(biāo)關(guān)聯(lián)效度，還會(huì)影響到其測(cè)量的構(gòu)想。這就提示我們，在針對(duì)特定的構(gòu)想進(jìn)行測(cè)量時(shí)，應(yīng)該選擇適合的指導(dǎo)語(yǔ)。
行為型指導(dǎo)語(yǔ)情境判斷測(cè)驗(yàn)測(cè)量的是個(gè)體的慣常行為，即個(gè)體習(xí)慣的行為方式；知識(shí)型指導(dǎo)語(yǔ)情境判斷測(cè)驗(yàn)測(cè)量的是個(gè)體的最優(yōu)行為，即個(gè)體是否知道怎么去做。研究結(jié)果顯示，行為型指導(dǎo)語(yǔ)的情境判斷測(cè)驗(yàn)與人格測(cè)驗(yàn)的關(guān)聯(lián)更高，對(duì)認(rèn)知能力測(cè)驗(yàn)的遞增效度更大；知識(shí)型指導(dǎo)語(yǔ)的情境判斷測(cè)驗(yàn)與認(rèn)知能力測(cè)驗(yàn)的關(guān)聯(lián)更高，對(duì)人格測(cè)驗(yàn)的遞增效度更大。因此，為了更好的發(fā)揮情境判斷測(cè)驗(yàn)的作用，使題目中的情境能夠最大限度地激發(fā)出目標(biāo)維度，當(dāng)測(cè)量的構(gòu)想屬于人格層面時(shí)(如，正直、責(zé)任心)，建議使用行為型的指導(dǎo)語(yǔ)：而當(dāng)測(cè)量的構(gòu)想屬于認(rèn)知層面時(shí)(如，工作知識(shí)、工作技能)，建議使用知識(shí)型的指導(dǎo)語(yǔ)。
5.3 應(yīng)用作假和培訓(xùn)對(duì)效度影響的研究結(jié)果指
導(dǎo)實(shí)踐
情境判斷測(cè)驗(yàn)和里克特式的自評(píng)問(wèn)卷相比，已經(jīng)在一定程度上能夠降低作假的影響，但是在選拔的情境下，仍然有作假存在。有研究表明，知識(shí)型指導(dǎo)語(yǔ)情境判斷測(cè)驗(yàn)較行為型指導(dǎo)語(yǔ)情境判斷測(cè)驗(yàn)?zāi)軌蜻M(jìn)一步降低作假(Nhung，Biderman，＆Michael，2005)，詳述(elaboration)也在一定程度上降低作假，即在某種程度上，加大測(cè)驗(yàn)題目的認(rèn)知負(fù)荷，有利于降低作答者作假(Lievens＆Peeters，2008)。但是，這方面的研究還遠(yuǎn)遠(yuǎn)不夠，一方面體現(xiàn)在已有關(guān)于作假對(duì)情境判斷測(cè)驗(yàn)效度影響的研究大多是實(shí)驗(yàn)室情境下通過(guò)指導(dǎo)語(yǔ)控制被試作假，而不是真實(shí)的選拔情境；另一方面，對(duì)于作假及其影響因素的本質(zhì)探討不夠深入；還有就是缺少檢驗(yàn)作假、降低作假的有效、易行手段。
此外，隨著情境判斷測(cè)驗(yàn)應(yīng)用范圍的不斷擴(kuò)大，一個(gè)新的問(wèn)題應(yīng)運(yùn)而生，即情境判斷測(cè)驗(yàn)中所涉及關(guān)鍵事件應(yīng)對(duì)方式的培訓(xùn)對(duì)測(cè)驗(yàn)效度的影響：培訓(xùn)是否會(huì)影響作答者的成績(jī)?會(huì)產(chǎn)生怎樣的影響?是簡(jiǎn)單地提高了分?jǐn)?shù)還是真正提高了相應(yīng)的能力?對(duì)測(cè)驗(yàn)的效度是積極作用還是消極作用?如果假設(shè)培訓(xùn)的結(jié)果可以提升測(cè)驗(yàn)效度，我們應(yīng)該怎樣更好地開(kāi)發(fā)、組織、實(shí)施培訓(xùn)?反之，我們有沒(méi)有什么辦法降低其對(duì)測(cè)驗(yàn)效度的不利影響?而這些方麗的研究，不僅在國(guó)內(nèi)，在整個(gè)國(guó)際上，都處于起步階段�？傊�，為了更好地將情境判斷測(cè)驗(yàn)應(yīng)用于實(shí)踐領(lǐng)域，尤其是人事選拔領(lǐng)域，關(guān)于作假和培訓(xùn)對(duì)測(cè)驗(yàn)效度影響的研究勢(shì)在必行。
相關(guān)熱詞搜索：述評(píng) 情境 測(cè)驗(yàn) 情境判斷測(cè)驗(yàn)的效度研究述評(píng) 情境判斷測(cè)驗(yàn) 情境判斷測(cè)驗(yàn)法的本質(zhì)
熱點(diǎn)文章閱讀