Hlavní Jiný Teorie odezvy na položku

Teorie odezvy na položku

Přehled

Software

Popis

Webové stránky

Čtení

Kurzy

Přehled

Teorie odezvy na položku (IRT), známá také jako teorie latentní odezvy, odkazuje na rodinu matematických modelů, které se pokoušejí vysvětlit vztah mezi latentními rysy (nepozorovatelnou charakteristikou nebo atributem) a jejich projevy (tj. Pozorovanými výsledky, odpověďmi nebo výkonem). Vytvářejí souvislost mezi vlastnostmi položek na nástroji, jednotlivci reagujícími na tyto položky a měřeným znakem. IRT předpokládá, že latentní konstrukt (např. Stres, znalosti, postoje) a položky míry jsou organizovány v nepozorovatelném kontinuu. Proto se jeho hlavní účel zaměřuje na stanovení pozice jednotlivce v tomto kontinuu.

Popis

Teorie klasického testu
Teorie klasického testu [Spearman, 1904, Novick, 1966] se zaměřuje na stejný cíl a před konceptualizací IRT; bylo (a stále je) používáno k předpovídání latentní vlastnosti jednotlivce na základě pozorovaného celkového skóre na přístroji. V CTT skutečné skóre předpovídá úroveň latentní proměnné a pozorované skóre. Chyba je obvykle distribuována s průměrem 0 a SD 1.

Teorie odezvy na položku vs. teorie klasického testu

Předpoklady IRT

1) Monotónnost - Předpoklad naznačuje, že s rostoucí úrovní vlastností se zvyšuje také pravděpodobnost správné reakce 2) Unidimensionality - Model předpokládá, že se měří jeden dominantní latentní znak a že tento znak je hnací silou pozorovaných odpovědí pro každou položku v míře 3) Místní nezávislost - Odpovědi dané jednotlivým položkám v testu jsou vzájemně nezávislé vzhledem k určité úrovni schopností. 4) Invariance - Jsme oprávněni odhadnout parametry položky z jakékoli pozice na křivce odezvy položky. Podle toho můžeme odhadnout parametry položky z jakékoli skupiny subjektů, kteří na položku odpověděli.
Pokud předpoklady platí, rozdíly ve sledování správných odpovědí mezi respondenty budou způsobeny rozdíly v jejich latentním znaku.

Modely IRT předpovídají odpovědi respondentů na položky nástroje na základě jejich polohy na kontinuu latentního znaku a charakteristik položek, také známých jako parametry. Tuto asociaci charakterizuje funkce odezvy položky. Základním předpokladem je, že každá odpověď na položku na nástroji poskytuje určitý sklon k úrovni latentního rysu nebo schopnosti jednotlivce. Jednoduše řečeno, schopnost osoby (θ) je pravděpodobnost schválení správné odpovědi pro danou položku. Čím vyšší je schopnost jednotlivce, tím vyšší je pravděpodobnost správné odpovědi. Tento vztah lze znázornit graficky a je znám jako Charakteristická křivka položky. Jak je znázorněno na obrázku, křivka má tvar písmene S (Sigmoid / Ogive). Kromě toho se zvyšuje pravděpodobnost monotónní podpory správné odpovědi, jak se zvyšuje schopnost respondenta. Je třeba poznamenat, že teoreticky se schopnost (θ) pohybuje od -∞ do + ∞, avšak v aplikacích se obvykle pohybuje mezi -3 a + 3.

Parametry položky

Vzhledem k tomu, že se schopnosti lidí liší, mění se jejich pozice na kontinuu latentního konstruktu a je určena vzorkem respondentů a parametry položek. Položka musí být dostatečně citlivá, aby mohla respondenty hodnotit v navrhovaném nepozorovatelném kontinuu.

online kurz letní školy


Obtížnost položky (bi) je parametr, který určuje způsob, jakým se položka chová podle škály schopností. Určuje se v bodě střední pravděpodobnosti, tj. Schopnosti, při které 50% respondentů potvrdí správnou odpověď. Na charakteristické křivce položky jsou položky, které je obtížné schválit, posunuty napravo od stupnice, což naznačuje vyšší schopnost respondentů, kteří ji podporují správně, zatímco ty, které jsou snazší, jsou posunuty více vlevo od stupnice schopností .

Diskriminace položky (ai) určuje míru, s jakou pravděpodobnost schválení správné položky mění dané úrovně schopností. Tento parametr je nezbytně nutný pro rozlišení mezi jednotlivci, kteří mají podobné úrovně latentního konstruktu zájmu. Konečným účelem návrhu přesného opatření je zahrnout položky s vysokou diskriminací, aby bylo možné mapovat jednotlivce podél kontinua latentního znaku. Na druhou stranu by vědci měli být opatrní, pokud je u položky pozorována negativní diskriminace, protože pravděpodobnost schválení správné odpovědi by se neměla snižovat s rostoucí schopností respondenta. Proto by měla být provedena revize těchto položek. Stupnice pro diskriminaci položek se teoreticky pohybuje od -∞ do + ∞; a obvykle nepřesahuje 2; proto se realisticky pohybuje mezi (0,2)

Hádání (ci) hádání položky je třetí parametr, který odpovídá za hádání u položky. Omezuje pravděpodobnost schválení správné odpovědi, jak se blíží schopnost -∞.

Populační invariance Jednoduše řečeno, parametry položek se chovají podobně v různých populacích. To neplatí, pokud sledujete měření CTT. Jelikož jednotkou analýzy je položka v IRT, může být umístění položky (obtížnost) standardizováno (podstoupit lineární transformaci) napříč populacemi, a tedy položky lze snadno porovnat. Důležitou poznámkou, kterou je třeba přidat, je, že i po lineární transformaci nebudou odhady parametrů odvozené ze dvou vzorků identické, invariance ve stavu názvu odkazuje na populační invariance, a proto se vztahuje pouze na parametry populace položek.

Typy modelů IRT

Unidimenzionální modely Unidimenzionální modely předpovídají schopnost položek měřit jednu dominantní latentní vlastnost.
Dichotomické modely IRT se používají, když jsou odpovědi na položky v míře dichotomické (tj. 0,1)

1-parametrický logistický model

Tento model je nejjednodušší formou modelů IRT. Skládá se z jednoho parametru, který popisuje latentní vlastnost (schopnost - θ) osoby reagující na položky, a dalšího parametru pro danou položku (obtížnost). Následující rovnice představuje její matematickou formu:

Model představuje funkci odezvy na položku pro 1 - parametrový logistický model předpovídající pravděpodobnost správné odpovědi vzhledem ke schopnosti a obtížnosti respondenta položky. V modelu 1-PL je parametr diskriminace fixní pro všechny položky a odpovídajícím způsobem jsou všechny křivky charakteristik položek odpovídající různým položkám v míře paralelní podél škály schopností. Na obrázku je 5 položek, ta na pravé straně je nejtěžší a pravděpodobně by ji správně schválili ti s vyšší schopností.

Testovací informační funkce
§ Jde o součet pravděpodobností schválení správné odpovědi pro všechny položky v míře, a proto odhaduje očekávané skóre testu.
§ Na tomto obrázku červená čára zobrazuje společnou pravděpodobnost všech 5 položek (černá)

Funkce Informace o položce
Ukazuje vám množství informací, které každá položka poskytuje, a vypočítá se vynásobením pravděpodobnosti potvrzení správné odpovědi vynásobené pravděpodobností nesprávné odpovědi.

Je třeba poznamenat, že množství informací na dané úrovni schopností je inverzní k jeho rozptylu, a proto čím větší množství informací poskytuje položka, tím větší je přesnost měření. Protože jsou informace o položce vyneseny proti schopnosti, odhalující graf zobrazuje množství informací poskytovaných položkou. Položky měřené s větší přesností, poskytují více informací a jsou graficky zobrazeny jako delší a užší ve srovnání s jejich protějšky, které poskytují méně informací. Vrchol křivky odpovídá hodnotě bi - schopnosti v bodě střední pravděpodobnosti. Maximální množství poskytovaných informací by bylo uvedeno, pokud je pravděpodobnost správné nebo nesprávné odpovědi stejná, tj. 50%. Položky jsou nejinformativnější mezi respondenty, kteří představují celé latentní kontinuum, a zejména mezi těmi, kteří mají 50% šanci na odpověď jakýmkoli způsobem.

Odhad schopnosti
Předpoklad místní nezávislosti uvádí, že odpovědi na položky by měly být nezávislé a přidružené pouze prostřednictvím schopnosti. To nám umožňuje odhadnout pravděpodobnostní funkci individuálního odezvového vzorce pro míru spravovanou vynásobením pravděpodobností odezvy položky. Dále se prostřednictvím iteračního procesu vypočítá odhad maximální pravděpodobnosti schopnosti. Jednoduše odhad maximální pravděpodobnosti poskytuje očekávané skóre pro každého jednotlivce.

The Rasch Model vs. 1- Parameter Logistic Models

Dvouparametrový logistický model


Parametr diskriminace se může u jednotlivých položek lišit. Od nynějška se ICC různých položek může protínat a mít různé svahy. Čím strmější je sklon, tím vyšší je diskriminace položky, protože bude schopna detekovat jemné rozdíly ve schopnostech respondentů.

Funkce Informace o položce
Stejně jako v případě modelu 1-PL se informace počítá jako součin mezi pravděpodobností správné a nesprávné odpovědi. Produkt se však vynásobí druhou mocninou parametru diskriminace. Důsledkem je, že čím větší je parametr diskriminace, tím větší jsou informace poskytované položkou. Vzhledem k tomu, že se rozlišující faktor může mezi položkami lišit, grafy funkcí informací o položce mohou také vypadat jinak.

Odhad schopnosti
U modelu 2-PL stále platí předpoklad místní nezávislosti a je použit maximální odhad pravděpodobnosti schopnosti. I když jsou pravděpodobnosti pro vzory odpovědí stále sečteny, jsou nyní pro každou odpověď váženy faktorem diskriminace položky. Jejich funkce pravděpodobnosti se proto mohou navzájem lišit a vrcholit na různých úrovních θ.

3parametrový logistický model


Model předpovídá pravděpodobnost správné odpovědi stejným způsobem jako model 1 - PL a model 2 PL - ale je omezen třetím parametrem nazývaným parametr hádání (známý také jako parametr pseudo šance), který omezuje pravděpodobnost schválení správné odpovědi, když se blíží schopnost respondenta -∞. Vzhledem k tomu, že respondenti na položku odpověděli hádáním, množství informací poskytovaných touto položkou klesá a funkce informační položky vrcholí na nižší úrovni ve srovnání s jinými funkcemi. Navíc obtížnost již není ohraničena na střední pravděpodobnost. Položky zodpovězené hádáním naznačují, že schopnost respondenta je menší než jeho obtížnost.

Model Fit
Jedním ze způsobů, jak vybrat, který model se má hodit, je posoudit relativní přizpůsobení modelu prostřednictvím jeho informačních kritérií. Odhady AIC jsou porovnány a je vybrán model s nižší AIC. Alternativně můžeme použít Chi-kvadrát (Deviance) a změřit změnu v poměru 2 * loglikelihood. Jak vyplývá z distribuce chí-kvadrát, můžeme odhadnout, zda se tyto dva modely od sebe statisticky liší.

Další modely IRT

Zahrňte modely, které zpracovávají polytomická data, jako je model odstupňované odezvy a model částečného kreditu. Tyto modely předpovídají očekávané skóre pro každou kategorii odpovědí. Na druhou stranu jiné modely IRT, jako jsou modely nominální odezvy, předpovídají očekávané skóre jednotlivců, kteří odpovídají na položky s neuspořádanými kategoriemi odpovědí (např. Ano, Ne, Možná). V tomto krátkém shrnutí jsme se zaměřili na jednorozměrné modely IRT zabývající se měřením jednoho latentního znaku, avšak tyto modely by nebyly vhodné pro měření více než jednoho latentního konstruktu nebo znaku. V druhém případě se doporučuje použít vícerozměrné modely IRT. Další informace o těchto modelech najdete v níže uvedeném seznamu zdrojů.

Aplikace

Modely IRT lze úspěšně aplikovat v mnoha prostředích, která aplikují hodnocení (vzdělávání, psychologie, výzkum výsledků zdraví atd.). Lze jej také použít k návrhu a zdokonalení vah / měřítek zahrnutím položek s vysokou diskriminací, které zvyšují přesnost měřicího nástroje a snižují zátěž vyplňování dlouhých dotazníků. Protože jednotkou analýzy modelu IRT je položka, lze je použít k porovnání položek z různých měr za předpokladu, že měří stejný latentní konstrukt. Dále je lze použít při diferenciálním fungování položek, aby bylo možné posoudit, proč se položky, které jsou kalibrovány a testovány, stále chovají odlišně mezi skupinami. To může vést k výzkumu identifikace původců rozdílů v odpovědích a jejich propojení se skupinovými charakteristikami. Nakonec je lze použít při počítačovém adaptivním testování.

Ježíši, radost z lidské touhy

Čtení

Učebnice a kapitoly

  • Hambleton, R. K. a Swaminathan, H. (1985). Principy a aplikace teorie teorie odezvy. Boston, MA: Kluwer-Nijhoff Publishing. K dispozici zde a tady

  • Embretson, Susan E. a Steven P. Reise. Teorie odezvy na položku. Psychology Press, 2013. K dispozici zde

  • Van der Linden, W. J. a Hambleton, R. K. (Eds.). (1997). Příručka moderní teorie odezvy na položku. New York, NY: Springer. K dispozici zde

Tyto tři knihy (Principy a aplikace teorie odezvy na předmět, Teorie odezvy na předmět a Příručka moderní teorie odezvy na předmět) poskytují čtenáři základní principy modelů IRT. Nezahrnují však poslední aktualizace a softwarové balíčky IRT.

  • DeMars C. Teorie odezvy na položku. Cary, NC, USA: Oxford University Press, USA; 2010. K dispozici zde a tady

Na 138 stránkách se společnosti DeMars C. podařilo vytvořit stručný, ale extrémně informativní zdroj, který neodstraní nejtvrdší z konceptů IRT. Kniha je úvodní knihou, která se zabývá předpoklady, parametry a požadavky IRT, a poté vysvětluje, jak lze výsledky popsat ve zprávách a jak by měli vědci brát v úvahu kontext administrace testů, populaci respondentů a efektivní využití skóre.

  • Ayala RJd. Teorie a praxe teorie odezvy položky. (2009). Reference and Research Book News, 24 (2). K dispozici zde

Teorie a praxe teorie odezvy na předmět je aplikovaná kniha, která je zaměřena na lékaře. Poskytuje důkladné vysvětlení unideminionálních i multidimenzionálních modelů IRT, přičemž zdůrazňuje koncepční vývoj každého modelu a jeho předpoklady. Poté pokračuje demonstrací základních principů modelu na živých příkladech.

  • Li Y, Baron J. Behaviorální výzkum dat Analýza dat s R: Springer New York; 2012 (kapitola 8)

Kniha byla vyvinuta s ohledem na odborníky na behaviorální výzkum. Poskytuje jim pomoc při navigaci ve statistických metodách pomocí R. Kapitola 8, zaměřuje se na teorii odezvy na položky a nabízí řadu poznámek a množství příkladů s poznámkami.

  • Vizuální průvodce teorií odezvy na předmět Ivailo Partchev, Friedrich-Schiller-Universität Jena (2004)

Jak název napovídá, průvodce poskytuje vizuální znázornění základních konceptů v IRT. Applety Java procházejí textem a usnadňují sledování, když jsou vysvětleny tyto základní pojmy. Skvělý zdroj a doporučil bych si ho několikrát přečíst a procvičit si applety!

  • Baker, Frank (2001). Základy teorie odezvy na položku. ERIC Clearinghouse pro hodnocení a hodnocení, University of Maryland, College Park, MD

Kniha svého druhu, která se zaměřuje na to, aby čtenáři měli radost ze získání základů teorie IRT, aniž by se ponořili do matematické složitosti.

cestování na opt risk
  • Thissen, D., & Wainer, H. (Eds.). (2001). Bodování testu. Mahwah, NJ: Lawrence Erlbaum. K dispozici zde a tady

  • Lord, F.M. (1980). Aplikace teorie reakce na praktické problémy s testováním. Hillsdale, NJ: Lawrence Erlbaum. K dispozici zde

  • Baker, F. B. a Kim, S. H. (2004). Teorie odezvy na položku: Techniky odhadu parametrů. New York, NY: Marcel Dekker. K dispozici zde a tady

Metodické články

  • Lord, F. M. (1983). Nestranný odhad parametrů schopností, jejich rozptylu a spolehlivosti paralelních forem. Psychometrika, 48, 233-245

  • Lord, F. M. (1986). Maximální věrohodnost a odhad bayesiánských parametrů v teorii odezvy na položku. Journal of Educational Measurement 23 (2): 157-162

  • Kámen CA. Obnova mezních odhadů maximální pravděpodobnosti v modelu dvouparametrových logistických odpovědí: vyhodnocení MULTILOGU. Aplikované psychologické měření. 1992; 16 (1): 1-16

  • Green, D. R., Yen, W. M. a Burket, G. R. (1989). Zkušenosti s aplikací teorie odezvy předmětu na konstrukci testu. Aplikované měření ve vzdělávání, 2 (4), 297-312

Články o aplikaci

  • Da Rocha NS, Chachamovich E Fau - de Almeida Fleck MP, de Almeida Fleck Mp Fau - Tennant A, Tennant A: Úvod do Raschovy analýzy pro psychiatrickou praxi a výzkum. (1879-1379)

  • Cook KF, O’Malley KJ, Roddey TS. Dynamické hodnocení výsledků v oblasti zdraví: čas vypustit KOČKU z vaku? Výzkum zdravotnických služeb. 2005; 40 (5 Pt 2): 1694-711

  • Edwards MC. Úvod do teorie odezvy na položky pomocí škály Need for Cognition. Kompas sociální a osobnostní psychologie. 2009; 3 (4): 507-29

  • Choi SW, Swartz RJ. Porovnání kritérií výběru položek CAT pro polytomické položky. 2009 (0146-6216 (tisk)).

  • Rizopoulos, D. (2006). ltm: Balíček R pro modelování latentních proměnných a analýzy teorie odezvy položek. Journal of Statistical Software, 17 (5). 1-25
    Hlavním cílem článku je představit balíček ltm v R, který má zásadní význam pro montáž modelů IRT. Balíček ltm se zaměřuje na dichotomická i polytomická data. Příspěvek poskytuje ilustrace pomocí příkladů skutečných dat z přijímacího testu na Právnické škole (LSAT) a ze sekce Životní prostředí v průzkumu britských sociálních postojů z roku 1990.

Software

Úplný seznam zobrazíte kliknutím na následující odkaz: http://www.umass.edu/remp/software/CEA-652.ZH-IRTSoftware.pdf

Webové stránky

Výukové programy na YouTube (mimořádně užitečné a poučné)

Kurzy

Kurzy nabízené na Mailman School of Public Health

ginsburg jane. C
  • P8417 - Vybrané problémy v měření

  • P8158 - Latentní proměnné a modelování strukturních rovnic pro vědy o zdraví

Připravované online kurzy a workshopy

Minulé kurzy a materiály

  • ICPSR Summer Workshop 9. července 2012 - 13. července 2012. Dr. Jonathan Templin (docent na katedře psychologie a výzkumu ve vzdělávání - Kansas University)

[soubory PDF odstraněny]

Zajímavé Články