Testtheorie und Testkonstruktion FLB 1
Zusammenfassung
Grundlagen der Testtheorie und Testkonstruktion
Kapitel 1 – Grundfragen der Testtheorie und Testkonstruktion
Aufgabe der psychologischen Diagnostik: Erfassung der Merkmalsausprägung von Menschen, um diag-
nostische Fragen zu beantworten und Entscheidungen zu treffen. Dies kann weitreichende Folgen haben,
weshalb anhand von Qualitätskriterien aus unterschiedlichen Verfahren, das ausgewählt werden muss,
welche für die Fragestellung am geeignetsten ist und die Gütekriterien erfüllt
Die Hauptgütekriterien:
• Validität: Erfasst der Test das, was er zu messen vorgibt und sind die gezogenen Schlüsse aus Test-
werten adäquat und angemessen
• Reliabilität: Die Zuverlässigkeit mit der ein Merkmal erfasst wird ® keine Messfehler
• Objektivität: Die Unabhängigkeit der Ergebnisse vom Versuchsleiter
1.1 Was sind psychologische Messungen
® unterscheidet sich von der physikalischen Messung in zwei Aspekten
1. Es gibt keine allgemein akzeptierten Vergleichsstandards
2. Das interessierende Merkmal lässt sich anhand eines Messvorgangs nur sehr grob messen
® Wie viele Aufgaben werden benötigt und wie müssen sie gestaltet sein, um das Merkmal zuverlässig
zu bestimmen? (Präzision) Dafür wurden mathematische Modelle entwickelt, die zu Grunde gelegt wer-
den können
1.2 Grundidee psychometrischer Modelle am Beispiel des Rasch-Modells
Psychometrische Modelle: überprüfen, ob verschiedene Aufgaben dasselbe Merkmale messen und mit
welcher Präzision
1.3 Was ist ein psychologischer Test
Drei Komponente zur Messung latenter Merkmale
1. Reize, die Merkmalsrelevante Verhalten provozieren
2. Reaktionsformen, anhand derer das Verhalten registriert werden kann
3. Modell, indem beobachtete Reaktionen mit latenten Merkmal in Verbindung gesetzt werden und
Messung von latenten Merkmalsausprägungen ermöglicht
Daraus entsteht ein psychologischer Test, welcher aus einer Menge von Reizen mit den zugehörigen zu-
gelassenen Reaktionen besteht, d.h. aus einer Menge von manifesten Variablen, und einer Vorschrift (Skala),
die den Reaktionsmustern der manifesten variablen Ausprägungen einer oder mehrere latenter Variablen
zuordnet. ® Definition Psychologischer Test nach Krauth
Test: Erfasst maximale Verhaltensweisen (z.B. Leistungen)
Fragebögen: erfassen typisches Verhalten und Erleben (z.B. Persönlichkeit)
® Testtheorie beschäftigt sich mit Modellen für beides:
Im Rahmen der Testkonstruktion müssen Reize (Items) und Reaktionsformen so entwickelt werden, dass
sie die Messung von latenten Merkmalen im Rahmen eines psychometrischen Modells sicherstellen und
ermöglichen ® Wissen über adäquate Reiz- und Reaktionsformate, das zu erfassende Merkmal und psycho-
metrische Modelle
1
,Items & Reaktionsformen ® so entwickelt sein, dass sie Messung der latenten Variablen sicherstellen
Item: Reize, anhand dessen ein spezifisches Verhalten bzw. Erleben provoziert wird
1.4 Grundlegende Annahmen und Eigenschaften psychometrischer Modelle
In psychometrischen Modellen wird das beobachtbare Verhalten als Funktion eines nicht direkt be-
obachtbaren (latenten) Personenmerkmals und eines Itemmerkmals dargestellt. Die Funktion beschreib
einen nicht deterministischen (auf Wahrscheinlichkeiten basierenden) Zusammenhang. In psychometri-
schen Modellen werden Konstrukte als latente Variablen definiert. Es handelt sich im Messmodelle zur Mes-
sung von Konstrukten, die auf testbaren Annahmen basieren. Sie können zur Testkonstruktion herangezo-
gen werden
Verhaltensregistrierung: Verhalten, das für das Merkmal charakteristisch ist, provozieren (z.B. durch Auf-
gabe) und registrieren
Verhalten als Funktion von Person und Aufgabe: Verhalten hängt von Person und Aufgabe ab
Wahrscheinlichkeitsaussagen: Aufgrund von Personen und Aufgabenmerkmalen kann Verhalten nur mit
einer Wahrscheinlichkeit vorhergesagt werden (® probabilistisches Modell)
Schätzung der Merkmalsausprägung: Merkmalsausprägungen müssen aus beobachtetem Verhalten mit
bestimmter Wahrscheinlichkeit erschlossen werden
Latente vs. manifeste Variablen (Merkmale): Latente (das zu erfassende Merkmal) können nicht direkt
beobachtet werden, sondern müssen zum einen durch beobachtbare (manifeste) Indikatoren (Variablen)
bestimmt werden. Zum anderen durch die Verknüpfung der beobachteten Verhaltensweisen mit dem Kon-
strukt im psychometrischen Modell
Operationale Definition eines Merkmals: Merkmal = Testwert
Definition von latenten Variablen (Konstrukten): Das Konstrukt wird über eine Wahrscheinlichkeitsbe-
ziehung mit den beobachtbaren Testwerten verbunden und basiert auf theoretischen Annahmen
Theorie des Testverhaltens: Psychometrisches Modell, welches eine theoretische Vorstellung darüber
hat, in welcher Weise das beobachtbare Verhalten von dem latenten Merkmal abhängt
Messmodelle: Modelle in denen eine oder mehrere latente Variablen (Konstrukte) mit beobachtbaren Va-
riablen in Beziehung gesetzt werden. Wie eindeutig die Zuordnung einer Zahl zu einer Person ist und wie
das Merkmal bestimmt werden kann, ist im Rahmen einzelner Messmodelle zu erklären
Modelltestung: Aus Annahme des Modells müsse sich testbare Konsequenzen ableiten lassen, die sich an-
hand empirischer beobachtbarer Sachverhalte überprüfen lassen ® Grundlage Modelltestung
Testkonstruktion: Werden mehrere Aufgaben zur Bestimmung latenter Merkmale benötigt, stellt sich die
Frage nach welchen Kriterien diese konstruiert bzw. ausgewählt werden ® psychometrische Modelle sind
eine wichtige Grundlage zur Auswahl
2
,1.5 Unterscheidungsmerkmale testtheoretischer Modelle
Die Testtheorie als Teilgebiet der Psychometrie beschäftigt sich mit der Entwicklung und Formalisierung
von psychometrischen Modellen für psychologische Tests und mit ihrer Nutzung für die Konstruktion und
Evaluation psychologischer Tests. Psychometrische Modelle, die sich auf psychologische Tests beziehen,
bezeichnet man daher auch als testtheoretische Modelle.
• Rasch-Modell: einfaches Modell ® latente Merkmal ist kontinuierlich ® beobachtbare Verhalten
in zwei Formen ® Lösen/Nicht Lösen einer Aufgabe ® dichotome Variablen
• Mehrkategoriale manifeste Variable: Mehrere Antworten sind möglich ® Ordnung möglich ®
ordinalskaliert/keine Ordnung ® nominalskaliert ® z.B. Partial-Credit-Modell ® häufig Fragebö-
gen mit geordneten Antwortkriterien
• Kontinuierlich manifeste Variable: (kontinuierliche beobachtbare Variablen) z.B. Reaktionszeit-
messungen bei emotionaler Klarheit (Frage nach Befinden)
• Kontinuierlich latente Variable: Verknüpfung mit kategorialer oder beobachtbarer Variable
• Kategorial latente Variable: z.B. Beschwerden (Kopfweh) liegen vor oder nicht ® Typen: Be-
schwerdemuster ® Ausprägungen einer latenten kategorialen Variable ® Latent Class Analyse ®
Gesamtpopulation lässt sich in Klassen zerlegen ® Itemantworten zum Ausgangspunkt
• Latente Profilanalyse: Beobachtbare Variablen sind kontinuierlich, latente Variablen kategorial
Klassifikation psychometrischer Modelle
1.5.2 Begriffliche Abgrenzung
® unterschiedliche testtheoretische Ansätze
Klassische Testtheorie: Modelle für kontinuierliche manifeste und latente Variablen ® Ausgangspunkt ist
meist gesamte Testwert
Item-Response-Theorie: nimmt einzelnen Itemantworten (z.B. Rasch) zum Ausgang ® kategorial mani-
feste und kontinuierlich latente Variablen
Generalisierte Linearen Item-Response-Theorien: metrische manifeste Variablen ® Modelle auf Grund-
lage der KTT
Probabilistische Testmodelle: Wahrscheinlichkeitsverteilungen der manifesten Variablen für die Werte
der latenten Variablen spezifiziert
Latente Variable/Merkmal: Ausprägung sind nicht direkt beobachtbar, sondern müssen anhand be-
obachtbarer Variablen erschlossen werden ® werden auch Konstrukte genannt
Manifestes Merkmal: Ausprägungen sind direkt beobachtbar
3
, Dichotome Variablen: können nur zwei Werte annehmen
Kontinuierliche Variablen: Messungen liegt eine kontinuierliche Eigenschaft zugrunde
Kategoriale Variablen: Merkmale, die eine begrenzte Anzahl von Ausprägungen (Kategorien) haben
Diskrete Variable: numerische Variablen, die zwischen zwei beliebigen Werten eine zählbare Anzahl von
Werten aufweisen
Stetige Variable: numerische Variablen, die zwischen zwei beliebigen Werten eine unendliche Anzahl von
Werten aufweisen
4
Zusammenfassung
Grundlagen der Testtheorie und Testkonstruktion
Kapitel 1 – Grundfragen der Testtheorie und Testkonstruktion
Aufgabe der psychologischen Diagnostik: Erfassung der Merkmalsausprägung von Menschen, um diag-
nostische Fragen zu beantworten und Entscheidungen zu treffen. Dies kann weitreichende Folgen haben,
weshalb anhand von Qualitätskriterien aus unterschiedlichen Verfahren, das ausgewählt werden muss,
welche für die Fragestellung am geeignetsten ist und die Gütekriterien erfüllt
Die Hauptgütekriterien:
• Validität: Erfasst der Test das, was er zu messen vorgibt und sind die gezogenen Schlüsse aus Test-
werten adäquat und angemessen
• Reliabilität: Die Zuverlässigkeit mit der ein Merkmal erfasst wird ® keine Messfehler
• Objektivität: Die Unabhängigkeit der Ergebnisse vom Versuchsleiter
1.1 Was sind psychologische Messungen
® unterscheidet sich von der physikalischen Messung in zwei Aspekten
1. Es gibt keine allgemein akzeptierten Vergleichsstandards
2. Das interessierende Merkmal lässt sich anhand eines Messvorgangs nur sehr grob messen
® Wie viele Aufgaben werden benötigt und wie müssen sie gestaltet sein, um das Merkmal zuverlässig
zu bestimmen? (Präzision) Dafür wurden mathematische Modelle entwickelt, die zu Grunde gelegt wer-
den können
1.2 Grundidee psychometrischer Modelle am Beispiel des Rasch-Modells
Psychometrische Modelle: überprüfen, ob verschiedene Aufgaben dasselbe Merkmale messen und mit
welcher Präzision
1.3 Was ist ein psychologischer Test
Drei Komponente zur Messung latenter Merkmale
1. Reize, die Merkmalsrelevante Verhalten provozieren
2. Reaktionsformen, anhand derer das Verhalten registriert werden kann
3. Modell, indem beobachtete Reaktionen mit latenten Merkmal in Verbindung gesetzt werden und
Messung von latenten Merkmalsausprägungen ermöglicht
Daraus entsteht ein psychologischer Test, welcher aus einer Menge von Reizen mit den zugehörigen zu-
gelassenen Reaktionen besteht, d.h. aus einer Menge von manifesten Variablen, und einer Vorschrift (Skala),
die den Reaktionsmustern der manifesten variablen Ausprägungen einer oder mehrere latenter Variablen
zuordnet. ® Definition Psychologischer Test nach Krauth
Test: Erfasst maximale Verhaltensweisen (z.B. Leistungen)
Fragebögen: erfassen typisches Verhalten und Erleben (z.B. Persönlichkeit)
® Testtheorie beschäftigt sich mit Modellen für beides:
Im Rahmen der Testkonstruktion müssen Reize (Items) und Reaktionsformen so entwickelt werden, dass
sie die Messung von latenten Merkmalen im Rahmen eines psychometrischen Modells sicherstellen und
ermöglichen ® Wissen über adäquate Reiz- und Reaktionsformate, das zu erfassende Merkmal und psycho-
metrische Modelle
1
,Items & Reaktionsformen ® so entwickelt sein, dass sie Messung der latenten Variablen sicherstellen
Item: Reize, anhand dessen ein spezifisches Verhalten bzw. Erleben provoziert wird
1.4 Grundlegende Annahmen und Eigenschaften psychometrischer Modelle
In psychometrischen Modellen wird das beobachtbare Verhalten als Funktion eines nicht direkt be-
obachtbaren (latenten) Personenmerkmals und eines Itemmerkmals dargestellt. Die Funktion beschreib
einen nicht deterministischen (auf Wahrscheinlichkeiten basierenden) Zusammenhang. In psychometri-
schen Modellen werden Konstrukte als latente Variablen definiert. Es handelt sich im Messmodelle zur Mes-
sung von Konstrukten, die auf testbaren Annahmen basieren. Sie können zur Testkonstruktion herangezo-
gen werden
Verhaltensregistrierung: Verhalten, das für das Merkmal charakteristisch ist, provozieren (z.B. durch Auf-
gabe) und registrieren
Verhalten als Funktion von Person und Aufgabe: Verhalten hängt von Person und Aufgabe ab
Wahrscheinlichkeitsaussagen: Aufgrund von Personen und Aufgabenmerkmalen kann Verhalten nur mit
einer Wahrscheinlichkeit vorhergesagt werden (® probabilistisches Modell)
Schätzung der Merkmalsausprägung: Merkmalsausprägungen müssen aus beobachtetem Verhalten mit
bestimmter Wahrscheinlichkeit erschlossen werden
Latente vs. manifeste Variablen (Merkmale): Latente (das zu erfassende Merkmal) können nicht direkt
beobachtet werden, sondern müssen zum einen durch beobachtbare (manifeste) Indikatoren (Variablen)
bestimmt werden. Zum anderen durch die Verknüpfung der beobachteten Verhaltensweisen mit dem Kon-
strukt im psychometrischen Modell
Operationale Definition eines Merkmals: Merkmal = Testwert
Definition von latenten Variablen (Konstrukten): Das Konstrukt wird über eine Wahrscheinlichkeitsbe-
ziehung mit den beobachtbaren Testwerten verbunden und basiert auf theoretischen Annahmen
Theorie des Testverhaltens: Psychometrisches Modell, welches eine theoretische Vorstellung darüber
hat, in welcher Weise das beobachtbare Verhalten von dem latenten Merkmal abhängt
Messmodelle: Modelle in denen eine oder mehrere latente Variablen (Konstrukte) mit beobachtbaren Va-
riablen in Beziehung gesetzt werden. Wie eindeutig die Zuordnung einer Zahl zu einer Person ist und wie
das Merkmal bestimmt werden kann, ist im Rahmen einzelner Messmodelle zu erklären
Modelltestung: Aus Annahme des Modells müsse sich testbare Konsequenzen ableiten lassen, die sich an-
hand empirischer beobachtbarer Sachverhalte überprüfen lassen ® Grundlage Modelltestung
Testkonstruktion: Werden mehrere Aufgaben zur Bestimmung latenter Merkmale benötigt, stellt sich die
Frage nach welchen Kriterien diese konstruiert bzw. ausgewählt werden ® psychometrische Modelle sind
eine wichtige Grundlage zur Auswahl
2
,1.5 Unterscheidungsmerkmale testtheoretischer Modelle
Die Testtheorie als Teilgebiet der Psychometrie beschäftigt sich mit der Entwicklung und Formalisierung
von psychometrischen Modellen für psychologische Tests und mit ihrer Nutzung für die Konstruktion und
Evaluation psychologischer Tests. Psychometrische Modelle, die sich auf psychologische Tests beziehen,
bezeichnet man daher auch als testtheoretische Modelle.
• Rasch-Modell: einfaches Modell ® latente Merkmal ist kontinuierlich ® beobachtbare Verhalten
in zwei Formen ® Lösen/Nicht Lösen einer Aufgabe ® dichotome Variablen
• Mehrkategoriale manifeste Variable: Mehrere Antworten sind möglich ® Ordnung möglich ®
ordinalskaliert/keine Ordnung ® nominalskaliert ® z.B. Partial-Credit-Modell ® häufig Fragebö-
gen mit geordneten Antwortkriterien
• Kontinuierlich manifeste Variable: (kontinuierliche beobachtbare Variablen) z.B. Reaktionszeit-
messungen bei emotionaler Klarheit (Frage nach Befinden)
• Kontinuierlich latente Variable: Verknüpfung mit kategorialer oder beobachtbarer Variable
• Kategorial latente Variable: z.B. Beschwerden (Kopfweh) liegen vor oder nicht ® Typen: Be-
schwerdemuster ® Ausprägungen einer latenten kategorialen Variable ® Latent Class Analyse ®
Gesamtpopulation lässt sich in Klassen zerlegen ® Itemantworten zum Ausgangspunkt
• Latente Profilanalyse: Beobachtbare Variablen sind kontinuierlich, latente Variablen kategorial
Klassifikation psychometrischer Modelle
1.5.2 Begriffliche Abgrenzung
® unterschiedliche testtheoretische Ansätze
Klassische Testtheorie: Modelle für kontinuierliche manifeste und latente Variablen ® Ausgangspunkt ist
meist gesamte Testwert
Item-Response-Theorie: nimmt einzelnen Itemantworten (z.B. Rasch) zum Ausgang ® kategorial mani-
feste und kontinuierlich latente Variablen
Generalisierte Linearen Item-Response-Theorien: metrische manifeste Variablen ® Modelle auf Grund-
lage der KTT
Probabilistische Testmodelle: Wahrscheinlichkeitsverteilungen der manifesten Variablen für die Werte
der latenten Variablen spezifiziert
Latente Variable/Merkmal: Ausprägung sind nicht direkt beobachtbar, sondern müssen anhand be-
obachtbarer Variablen erschlossen werden ® werden auch Konstrukte genannt
Manifestes Merkmal: Ausprägungen sind direkt beobachtbar
3
, Dichotome Variablen: können nur zwei Werte annehmen
Kontinuierliche Variablen: Messungen liegt eine kontinuierliche Eigenschaft zugrunde
Kategoriale Variablen: Merkmale, die eine begrenzte Anzahl von Ausprägungen (Kategorien) haben
Diskrete Variable: numerische Variablen, die zwischen zwei beliebigen Werten eine zählbare Anzahl von
Werten aufweisen
Stetige Variable: numerische Variablen, die zwischen zwei beliebigen Werten eine unendliche Anzahl von
Werten aufweisen
4
