THOENES, Joshua
FB2823GR814
Psychologie (B.Sc.) (8 Sem.) PO:04/21
Einsendeaufgabe Kommentiert [DS1]: EA bestanden.
Prima
Testtheorie und Testkonstruktion II –
Vertiefung in die Testtheorie und Testkonstruktion
Aufgabe 1
Sie wollten überprüfen, ob die Items Ihrer Erhebung dem Partial-Credit-Modell folgen.
a) Definieren Sie bitte zunächst kurz das Partial-Credit-Modell und beschreiben
Sie dann Möglichkeiten, seine Passung zu überprüfen!
Das Partial-Credit-Modell ist ein eindimensionales Testmodell und wird als eine erweiterte,
ordinale Form des dichotomen Rasch-Modells verstanden bei der kategoriale Variablen mit
mehreren geordneten Antwortkategorien vorliegen. Ähnlich wie beim Rasch-Modell basiert
auch das Partial-Credit-Modell auf der Annahme, dass alle manifesten oder beobachtbaren
Variablen, die Itemantworten, auf eine gemeinsame latente oder abschätzbare Variable
projizieren, die auch als Konstrukt bezeichnet wird. Je höher diese latente Variable oder die
Personenfähigkeit eines Probanden ist, desto höher ist die allgemeine
Lösungswahrscheinlichkeit des Items, die beim Partial-Credit-Modell jedoch als
Schwellenwahrscheinlichkeit beschrieben wird. Die Schwellenwahrscheinlichkeit bezeichnet
die Chance von einer Antwortkategoire des Modells in die nächsthöhere oder -tiefere zu
wechseln und wird durch den Schwellenparameter, welcher gleichzeitig der Schnittpunkt
zwischen zwei Kategorien ist, definiert, der die unterschiedlichen Kategorien voneinander
trennt. Ein höherer Personenparameter, der durch die Personenfähigkeit der latenten
Variable bestimmt wird, kann also dazu führen, dass eine Person mit Bezug auf die
Schwellenparameter eine höhere Kategorie erreicht und somit eine höhere
Schwierigkeitsstufe des Items gelöst werden kann. Zudem gelten wie beim Rasch-Modell die
zwei zentralen Annahmen der bedingten, lokalen, stochastischen Unabhängigkeit, was
bedeutet, dass einzig die latente Personenfähigkeit für die Ausprägungen der manifesten
Variable verantwortlich ist, und die spezifische Objektivität, die aussagt, dass der Vergleich
von zwei Items an einer Person ebenso wenig von dieser Person abhängig ist wie der
Vergleich von zwei Personen an einem Item von diesem Item.
Die Passung des Partial-Credit-Modells kann mit drei verschiedenen Techniken zur
Überprüfung der Modellgültigkeit getestet werden, die ebenfalls beim Rasch-Modell
anwendbar sind. Diese sollen im Folgenden einzeln dargestellt werden.
Seite1 PFH-Private Hochschule Göttingen 05.05.2024
, THOENES, Joshua
FB2823GR814
Psychologie (B.Sc.) (8 Sem.) PO:04/21
Zuerst kann der Aspekt der Gleichheit der Itemparameter in Subpopulation angeführt
werden, bei dem die in Untergruppen der Population, wie bspw. verschiedene Altersgruppen
festgestellten Schwellenparameter und Trennschärfen identisch sein müssen, sofern ein
gültiges Modell vorliegt und der anhand des Likelihood-Quotienten-Test überprüft werden
kann.
Des Weiteren muss bei einem geltenden Modell dessen Wahrscheinlichkeitsverteilung
der Antwortmuster gleich derselben Verteilung der zugrunde liegenden Population sein was
darauf schließen lässt, dass die Eintrittswahrscheinlichkeit der Antwortmuster bei Gültigkeit
von der latenten Persönlichkeitsfähigkeit abhängt. Die Wahrscheinlichkeitsverteilung der
Antwortmuster und globalen Modellgültigkeit kann mithilfe des Likelihood-Quotienten-Test
oder des Pearson-X²-Tests geprüft werden.
Schließlich müssen auch die Personenwerte in verringerten Rasch-Modellen
übereinstimmen, was mittels dem Martin-Löf-Test überprüft werden kann, der betrachtet ob
bspw. in Gruppen aufgeteilte Items nach wie vor die gleichen Personenvariable erfassen.
b) Ihre durchgeführten Tests weisen auf eine mangelnde Passung des Partial-
Credit-Modells hin. Wie gehen Sie vor, um diese ggf. zu verbessern?
Ist das Partial-Credit-Modell nicht passend oder gültig kann dies entweder an einer zu
geringen Stichprobe, den Probanden selbst, die unter den misfit-Begriff fallen oder
ungeeignet gewählten Items liegen. Angenommen die Stichprobe ist ausreichend groß und
repräsentativ genug gewählt, um eine akzeptable Teststärke zu gewährleisten und alle
Versuchspersonen erfüllen die Anforderungen, die der Test und damit das Modell stellen,
was mit Residual- oder Gütemaßen geprüft werden kann, bleibt nur noch eine genauere
Untersuchung der zu Grunde liegenden Items, welche gleichzeitig die Hauptfehlerquelle bei
einem nicht passenden Modell darstellen. Ungeeignete Items müssen ebenso wie
Teilnehmer aus dem Test gestrichen werden, um eine Modellgültigkeit zu garantieren.
Beispielsweise können Items zu schwierig gestellt sein, sodass bei einem diesbezüglichen
Verdacht der Wald-Test durchgeführt werden sollte, um die Schwierigkeitsparameter zu
analysieren. Auch kann es bei Items zu sogenannten misfits kommen, wenn die erwarteten
Itemantworten von den Realen signifikant abweichen, also Items nicht in der Lage sind ein
Merkmal im Sinne des Tests zu erfassen. Diese Abweichung wird ähnlich wie bei der
Prüfung der Testteilnehmer mit Residualmaßen geprüft. Letztendlich sollte auch die
Itemhomogenität überprüft werden, also ob alle Items dieselbe Variable erfassen, dies kann,
wie bei 1a) erwähnt, durch den Martin-Löf-Test geprüft werden, der bei einem signifikanten
Testergebnis darauf hinweist, ob das Gebot der Eindimensionalität verletzt wurde.
Seite2 PFH-Private Hochschule Göttingen 05.05.2024
FB2823GR814
Psychologie (B.Sc.) (8 Sem.) PO:04/21
Einsendeaufgabe Kommentiert [DS1]: EA bestanden.
Prima
Testtheorie und Testkonstruktion II –
Vertiefung in die Testtheorie und Testkonstruktion
Aufgabe 1
Sie wollten überprüfen, ob die Items Ihrer Erhebung dem Partial-Credit-Modell folgen.
a) Definieren Sie bitte zunächst kurz das Partial-Credit-Modell und beschreiben
Sie dann Möglichkeiten, seine Passung zu überprüfen!
Das Partial-Credit-Modell ist ein eindimensionales Testmodell und wird als eine erweiterte,
ordinale Form des dichotomen Rasch-Modells verstanden bei der kategoriale Variablen mit
mehreren geordneten Antwortkategorien vorliegen. Ähnlich wie beim Rasch-Modell basiert
auch das Partial-Credit-Modell auf der Annahme, dass alle manifesten oder beobachtbaren
Variablen, die Itemantworten, auf eine gemeinsame latente oder abschätzbare Variable
projizieren, die auch als Konstrukt bezeichnet wird. Je höher diese latente Variable oder die
Personenfähigkeit eines Probanden ist, desto höher ist die allgemeine
Lösungswahrscheinlichkeit des Items, die beim Partial-Credit-Modell jedoch als
Schwellenwahrscheinlichkeit beschrieben wird. Die Schwellenwahrscheinlichkeit bezeichnet
die Chance von einer Antwortkategoire des Modells in die nächsthöhere oder -tiefere zu
wechseln und wird durch den Schwellenparameter, welcher gleichzeitig der Schnittpunkt
zwischen zwei Kategorien ist, definiert, der die unterschiedlichen Kategorien voneinander
trennt. Ein höherer Personenparameter, der durch die Personenfähigkeit der latenten
Variable bestimmt wird, kann also dazu führen, dass eine Person mit Bezug auf die
Schwellenparameter eine höhere Kategorie erreicht und somit eine höhere
Schwierigkeitsstufe des Items gelöst werden kann. Zudem gelten wie beim Rasch-Modell die
zwei zentralen Annahmen der bedingten, lokalen, stochastischen Unabhängigkeit, was
bedeutet, dass einzig die latente Personenfähigkeit für die Ausprägungen der manifesten
Variable verantwortlich ist, und die spezifische Objektivität, die aussagt, dass der Vergleich
von zwei Items an einer Person ebenso wenig von dieser Person abhängig ist wie der
Vergleich von zwei Personen an einem Item von diesem Item.
Die Passung des Partial-Credit-Modells kann mit drei verschiedenen Techniken zur
Überprüfung der Modellgültigkeit getestet werden, die ebenfalls beim Rasch-Modell
anwendbar sind. Diese sollen im Folgenden einzeln dargestellt werden.
Seite1 PFH-Private Hochschule Göttingen 05.05.2024
, THOENES, Joshua
FB2823GR814
Psychologie (B.Sc.) (8 Sem.) PO:04/21
Zuerst kann der Aspekt der Gleichheit der Itemparameter in Subpopulation angeführt
werden, bei dem die in Untergruppen der Population, wie bspw. verschiedene Altersgruppen
festgestellten Schwellenparameter und Trennschärfen identisch sein müssen, sofern ein
gültiges Modell vorliegt und der anhand des Likelihood-Quotienten-Test überprüft werden
kann.
Des Weiteren muss bei einem geltenden Modell dessen Wahrscheinlichkeitsverteilung
der Antwortmuster gleich derselben Verteilung der zugrunde liegenden Population sein was
darauf schließen lässt, dass die Eintrittswahrscheinlichkeit der Antwortmuster bei Gültigkeit
von der latenten Persönlichkeitsfähigkeit abhängt. Die Wahrscheinlichkeitsverteilung der
Antwortmuster und globalen Modellgültigkeit kann mithilfe des Likelihood-Quotienten-Test
oder des Pearson-X²-Tests geprüft werden.
Schließlich müssen auch die Personenwerte in verringerten Rasch-Modellen
übereinstimmen, was mittels dem Martin-Löf-Test überprüft werden kann, der betrachtet ob
bspw. in Gruppen aufgeteilte Items nach wie vor die gleichen Personenvariable erfassen.
b) Ihre durchgeführten Tests weisen auf eine mangelnde Passung des Partial-
Credit-Modells hin. Wie gehen Sie vor, um diese ggf. zu verbessern?
Ist das Partial-Credit-Modell nicht passend oder gültig kann dies entweder an einer zu
geringen Stichprobe, den Probanden selbst, die unter den misfit-Begriff fallen oder
ungeeignet gewählten Items liegen. Angenommen die Stichprobe ist ausreichend groß und
repräsentativ genug gewählt, um eine akzeptable Teststärke zu gewährleisten und alle
Versuchspersonen erfüllen die Anforderungen, die der Test und damit das Modell stellen,
was mit Residual- oder Gütemaßen geprüft werden kann, bleibt nur noch eine genauere
Untersuchung der zu Grunde liegenden Items, welche gleichzeitig die Hauptfehlerquelle bei
einem nicht passenden Modell darstellen. Ungeeignete Items müssen ebenso wie
Teilnehmer aus dem Test gestrichen werden, um eine Modellgültigkeit zu garantieren.
Beispielsweise können Items zu schwierig gestellt sein, sodass bei einem diesbezüglichen
Verdacht der Wald-Test durchgeführt werden sollte, um die Schwierigkeitsparameter zu
analysieren. Auch kann es bei Items zu sogenannten misfits kommen, wenn die erwarteten
Itemantworten von den Realen signifikant abweichen, also Items nicht in der Lage sind ein
Merkmal im Sinne des Tests zu erfassen. Diese Abweichung wird ähnlich wie bei der
Prüfung der Testteilnehmer mit Residualmaßen geprüft. Letztendlich sollte auch die
Itemhomogenität überprüft werden, also ob alle Items dieselbe Variable erfassen, dies kann,
wie bei 1a) erwähnt, durch den Martin-Löf-Test geprüft werden, der bei einem signifikanten
Testergebnis darauf hinweist, ob das Gebot der Eindimensionalität verletzt wurde.
Seite2 PFH-Private Hochschule Göttingen 05.05.2024
