Grundbegriffe ...................................................................................................................................... 3
Klassische Testtheorie (KTT) ................................................................................................................ 4
Nutzen der klassischen Testtheorie ................................................................................................ 5
Kritik der klassischen Testtheorie.................................................................................................... 5
Common-Factor-Modell ...................................................................................................................... 5
Zusammengefasst............................................................................................................................ 8
Indikatoren und Kausalität in Messmodellen...................................................................................... 9
Reflektive Indikatoren ..................................................................................................................... 9
Fehlspezifikationen........................................................................................................................ 14
Skalenmittelwerte ......................................................................................................................... 15
Summenwerte ............................................................................................................................... 15
Überblick ....................................................................................................................................... 16
CFA: Eindimensionale Modelle (Teil 1) .............................................................................................. 16
Einführung und Übersicht ............................................................................................................. 16
Konfirmatorische Faktorenanalyse (CFA) ...................................................................................... 17
Beispiel 1: Lineare Regression ....................................................................................................... 19
Beispiel 2: Kovarianz ...................................................................................................................... 21
CFA: Eindimensionale Modelle (Teil 2).............................................................................................. 22
Beispiele ........................................................................................................................................ 22
Kovarianz, Regression, Korrelation................................................................................................ 24
Beta1 oder Beta2 ........................................................................................................................... 25
Beispiele bzgl. Metrik .................................................................................................................... 26
Metrik für latente Variable ............................................................................................................ 30
CFA: Eindimensionale Modelle (Teil 3) .............................................................................................. 32
Modellidentifikation ...................................................................................................................... 32
Parameterschätzung und Modellpassung ..................................................................................... 34
Globale Modellpassung, wichtigste Fit Indizes ............................................................................. 35
IFA und IRT: Eindimensionale Modelle.............................................................................................. 36
Bewertung und Konstruktion diagnostischer Verfahren............................................................... 36
Anwendung diagnostischer Verfahren .......................................................................................... 36
CFA vs. IFA/IRT ............................................................................................................................... 36
Dichotome Indikatoren ................................................................................................................. 37
(Nichtlineare) Link-Funktion .......................................................................................................... 38
Alle Parameter im Überblick ......................................................................................................... 39
1
, Thresholds (Schwierigkeit) ............................................................................................................ 39
"Un"link und Link ........................................................................................................................... 40
Zwei Schreibweisen ....................................................................................................................... 41
IRT: Item Characteristic Curve (ICC) .............................................................................................. 41
Umrechnung IFA ↔ IRT ................................................................................................................ 41
IRT: Spezialfälle Rasch/1PL, 3PL und 4PL....................................................................................... 42
IRT: Übersicht über alle Varianten ................................................................................................ 42
IRT: Übersicht über alle Parameter ............................................................................................... 43
Metrik für die latente Variable ...................................................................................................... 43
Rasch-Modell in Mplus und R ........................................................................................................ 43
Komplexere Messmodelle und Strukturgleichungsmodelle ............................................................. 44
Arten von Messmodellen .............................................................................................................. 44
Vergleichbarkeit von Messungen .................................................................................................. 46
Varianten von hierarchischen Modellen ....................................................................................... 47
Varianten von Bifaktor-Modellen.................................................................................................. 49
Elemente von Strukturgleichungsmodellen (SEM)........................................................................ 51
Gezielter Einsatz der behandelten Techniken ................................................................................... 52
Fokus: Indikator ............................................................................................................................. 52
Fokus: Grenzbereich zwischen Indikator und Messverfahren ...................................................... 53
Fokus: Messverfahren: Inhaltliche Aspekte .................................................................................. 54
Fokus: Messverfahren: Technische Aspekte ................................................................................. 55
Fokus: Mehrere Messzeitpunkte/ Messverfahren ........................................................................ 55
Beispielhafter Einsatz von Techniken ................................................................................................ 56
Indikator: Reliabilität ..................................................................................................................... 56
Messverfahren: Reliabilität ........................................................................................................... 57
Reliabilität am Beispiel des NARQ ................................................................................................. 59
NARQ-Items ................................................................................................................................... 60
NARQ-Beispiel ............................................................................................................................... 61
Pfadregeln ..................................................................................................................................... 62
2
,Diagnostik ist wichtig für jegliche (empirische) Forschung und praktische Fragen, z.B. Screening auf
eine behandlungsbedürftige psychische Störung, Passung auf einen Ausbildungs- oder Arbeitsplatz,
Bestehen einer MPU, Glaubwürdigkeit einer Aussage, Selbsterkenntnis und Persönlichkeitsentwick-
lung, etc. HIER: Diagnostik ist systematisch, objektivierbar, optimiert die Passung und den Nutzen
Arbeitsmarkt für Psycholog*innen:
Vorlesungsthema und Lernziele
• „Sauber“ messen, d.h. genau und unverzerrt
• Komplexe Modellierungstechniken beherrschen
• Zusammenhänge zw. psychometrischen Modellen und inhaltlichen Erkenntnissen verstehen
• Qualität vorhandener Messinstrumente beurteilen
• Selbst Messinstrumente entwickeln
• Nützliche Entscheidungen treffen
• Messung: Prozess, in dessen Rahmen ein Vektor von Messwerten entsteht
⎯ Pro Fall (i.d.R. pro Versuchsperson) ein Wert
⎯ Unter vergleichbaren Bedingungen
• Indikator: Variable, die die Ergebnisse einer Messung (die Messwerte) für mehrere Fälle (z.B.
Versuchspersonen) enthält, z.B.
⎯ Selbsteinschätzung in einem Fragebogen (Item)
⎯ Gewählte Lösungen in einem Leistungstest (Item)
⎯ Messwert in einem physiologischen Verfahren (e.g. Konzentration von Cortisol im Haar)
⎯ Manifeste Variable: Ausprägung beobachtbar/ ablesbar
• Attribut: Existiert in der Realität
⎯ Jeweilige Ausprägung auf das Attribut verursacht die jeweilige Ausprägung des Indikators
⎯ Wird in Modellen durch latente Variablen repräsentiert
⎯ Das Attribut verursacht den Indikator (e.g. Die Temperatur sorgt dafür, dass sich die Flüssig-
keit im Thermometer ausdehnt; das Thermometer sorgt nicht dafür, dass es warm oder kalt
wird)
3
, Auf der folgenden Folie sieht man die konkreten Messwerte der Versuchspersonen Hatice, Max und
Tina auf einer Antwortskala von 0 bis 7 (kontinuierliche skalierte Variable). Jeder von diesen Versuchs-
personen hat auf dem Indikator eine bestimmte Ausprägung (das ist der dunkle Kreis in der Mitte; bei
Hatice wäre das zum Beispiel 6).
Annahme:
Wenn wir diese Messung unendlich oft wiederholen würden, dann würden wir nicht immer zu dem-
selben Ergebnis kommen, da aufgrund von Messfehlern das Ergebnis streuen würde (in Form einer
Normalverteilung um den wahren Wert herum), d.h. wenn man diese Messung jetzt wiederholen
könnte, unter identischen Umständen, dann würde sie nicht immer diesen dunklen Wert bekommen,
sondern auch einen von den Grauen.
Der dunkle Wert wird in der klassischen Testtheorie als wahrer Wert betrachtet. Das ist der Wert, für
den wir uns interessieren (auf Englisch true score, deswegen wird er hier mit τ /tau abgekürzt). Das
heißt, der eigentliche konkrete beobachtete Messwert (y) muss nicht mit dem wahren Wert (τ) über-
einstimmen. Der Abstand zwischen dem wahren Wert und dem beobachteten Wert ist der Messfehler
(ϵ), der (s. untere Abbildung) mal positiv sein kann, mal negativ sein kann und in der Regel nahe bei 0,
also nahe dem wahren Wert liegt, aber selten exakt identisch mit dem wahren Wert ist.
Der beobachtete Messwert lässt sich also zusammensetzen aus dem wahren Wert und dem Messfeh-
ler (y = τ + ϵ). Den Messfehler kennen wir nicht. Da der Messfehler im Mittel als 0 angenommen wird,
wird der beobachtete Wert (y) als bester Hinweis auf den wahren Wert betrachtet.
*Obwohl wir davon ausgehen, dass der Messfehler einen Wert von 0 hat, kann er trotzdem eine Varianz haben.
Diese Varianz versuchen wir zu schätzen und zu berücksichtigen. Sobald man mehr als einen Indikator hat, kann
man die Messfehlerwerte halbwegs schätzen.
4
Klassische Testtheorie (KTT) ................................................................................................................ 4
Nutzen der klassischen Testtheorie ................................................................................................ 5
Kritik der klassischen Testtheorie.................................................................................................... 5
Common-Factor-Modell ...................................................................................................................... 5
Zusammengefasst............................................................................................................................ 8
Indikatoren und Kausalität in Messmodellen...................................................................................... 9
Reflektive Indikatoren ..................................................................................................................... 9
Fehlspezifikationen........................................................................................................................ 14
Skalenmittelwerte ......................................................................................................................... 15
Summenwerte ............................................................................................................................... 15
Überblick ....................................................................................................................................... 16
CFA: Eindimensionale Modelle (Teil 1) .............................................................................................. 16
Einführung und Übersicht ............................................................................................................. 16
Konfirmatorische Faktorenanalyse (CFA) ...................................................................................... 17
Beispiel 1: Lineare Regression ....................................................................................................... 19
Beispiel 2: Kovarianz ...................................................................................................................... 21
CFA: Eindimensionale Modelle (Teil 2).............................................................................................. 22
Beispiele ........................................................................................................................................ 22
Kovarianz, Regression, Korrelation................................................................................................ 24
Beta1 oder Beta2 ........................................................................................................................... 25
Beispiele bzgl. Metrik .................................................................................................................... 26
Metrik für latente Variable ............................................................................................................ 30
CFA: Eindimensionale Modelle (Teil 3) .............................................................................................. 32
Modellidentifikation ...................................................................................................................... 32
Parameterschätzung und Modellpassung ..................................................................................... 34
Globale Modellpassung, wichtigste Fit Indizes ............................................................................. 35
IFA und IRT: Eindimensionale Modelle.............................................................................................. 36
Bewertung und Konstruktion diagnostischer Verfahren............................................................... 36
Anwendung diagnostischer Verfahren .......................................................................................... 36
CFA vs. IFA/IRT ............................................................................................................................... 36
Dichotome Indikatoren ................................................................................................................. 37
(Nichtlineare) Link-Funktion .......................................................................................................... 38
Alle Parameter im Überblick ......................................................................................................... 39
1
, Thresholds (Schwierigkeit) ............................................................................................................ 39
"Un"link und Link ........................................................................................................................... 40
Zwei Schreibweisen ....................................................................................................................... 41
IRT: Item Characteristic Curve (ICC) .............................................................................................. 41
Umrechnung IFA ↔ IRT ................................................................................................................ 41
IRT: Spezialfälle Rasch/1PL, 3PL und 4PL....................................................................................... 42
IRT: Übersicht über alle Varianten ................................................................................................ 42
IRT: Übersicht über alle Parameter ............................................................................................... 43
Metrik für die latente Variable ...................................................................................................... 43
Rasch-Modell in Mplus und R ........................................................................................................ 43
Komplexere Messmodelle und Strukturgleichungsmodelle ............................................................. 44
Arten von Messmodellen .............................................................................................................. 44
Vergleichbarkeit von Messungen .................................................................................................. 46
Varianten von hierarchischen Modellen ....................................................................................... 47
Varianten von Bifaktor-Modellen.................................................................................................. 49
Elemente von Strukturgleichungsmodellen (SEM)........................................................................ 51
Gezielter Einsatz der behandelten Techniken ................................................................................... 52
Fokus: Indikator ............................................................................................................................. 52
Fokus: Grenzbereich zwischen Indikator und Messverfahren ...................................................... 53
Fokus: Messverfahren: Inhaltliche Aspekte .................................................................................. 54
Fokus: Messverfahren: Technische Aspekte ................................................................................. 55
Fokus: Mehrere Messzeitpunkte/ Messverfahren ........................................................................ 55
Beispielhafter Einsatz von Techniken ................................................................................................ 56
Indikator: Reliabilität ..................................................................................................................... 56
Messverfahren: Reliabilität ........................................................................................................... 57
Reliabilität am Beispiel des NARQ ................................................................................................. 59
NARQ-Items ................................................................................................................................... 60
NARQ-Beispiel ............................................................................................................................... 61
Pfadregeln ..................................................................................................................................... 62
2
,Diagnostik ist wichtig für jegliche (empirische) Forschung und praktische Fragen, z.B. Screening auf
eine behandlungsbedürftige psychische Störung, Passung auf einen Ausbildungs- oder Arbeitsplatz,
Bestehen einer MPU, Glaubwürdigkeit einer Aussage, Selbsterkenntnis und Persönlichkeitsentwick-
lung, etc. HIER: Diagnostik ist systematisch, objektivierbar, optimiert die Passung und den Nutzen
Arbeitsmarkt für Psycholog*innen:
Vorlesungsthema und Lernziele
• „Sauber“ messen, d.h. genau und unverzerrt
• Komplexe Modellierungstechniken beherrschen
• Zusammenhänge zw. psychometrischen Modellen und inhaltlichen Erkenntnissen verstehen
• Qualität vorhandener Messinstrumente beurteilen
• Selbst Messinstrumente entwickeln
• Nützliche Entscheidungen treffen
• Messung: Prozess, in dessen Rahmen ein Vektor von Messwerten entsteht
⎯ Pro Fall (i.d.R. pro Versuchsperson) ein Wert
⎯ Unter vergleichbaren Bedingungen
• Indikator: Variable, die die Ergebnisse einer Messung (die Messwerte) für mehrere Fälle (z.B.
Versuchspersonen) enthält, z.B.
⎯ Selbsteinschätzung in einem Fragebogen (Item)
⎯ Gewählte Lösungen in einem Leistungstest (Item)
⎯ Messwert in einem physiologischen Verfahren (e.g. Konzentration von Cortisol im Haar)
⎯ Manifeste Variable: Ausprägung beobachtbar/ ablesbar
• Attribut: Existiert in der Realität
⎯ Jeweilige Ausprägung auf das Attribut verursacht die jeweilige Ausprägung des Indikators
⎯ Wird in Modellen durch latente Variablen repräsentiert
⎯ Das Attribut verursacht den Indikator (e.g. Die Temperatur sorgt dafür, dass sich die Flüssig-
keit im Thermometer ausdehnt; das Thermometer sorgt nicht dafür, dass es warm oder kalt
wird)
3
, Auf der folgenden Folie sieht man die konkreten Messwerte der Versuchspersonen Hatice, Max und
Tina auf einer Antwortskala von 0 bis 7 (kontinuierliche skalierte Variable). Jeder von diesen Versuchs-
personen hat auf dem Indikator eine bestimmte Ausprägung (das ist der dunkle Kreis in der Mitte; bei
Hatice wäre das zum Beispiel 6).
Annahme:
Wenn wir diese Messung unendlich oft wiederholen würden, dann würden wir nicht immer zu dem-
selben Ergebnis kommen, da aufgrund von Messfehlern das Ergebnis streuen würde (in Form einer
Normalverteilung um den wahren Wert herum), d.h. wenn man diese Messung jetzt wiederholen
könnte, unter identischen Umständen, dann würde sie nicht immer diesen dunklen Wert bekommen,
sondern auch einen von den Grauen.
Der dunkle Wert wird in der klassischen Testtheorie als wahrer Wert betrachtet. Das ist der Wert, für
den wir uns interessieren (auf Englisch true score, deswegen wird er hier mit τ /tau abgekürzt). Das
heißt, der eigentliche konkrete beobachtete Messwert (y) muss nicht mit dem wahren Wert (τ) über-
einstimmen. Der Abstand zwischen dem wahren Wert und dem beobachteten Wert ist der Messfehler
(ϵ), der (s. untere Abbildung) mal positiv sein kann, mal negativ sein kann und in der Regel nahe bei 0,
also nahe dem wahren Wert liegt, aber selten exakt identisch mit dem wahren Wert ist.
Der beobachtete Messwert lässt sich also zusammensetzen aus dem wahren Wert und dem Messfeh-
ler (y = τ + ϵ). Den Messfehler kennen wir nicht. Da der Messfehler im Mittel als 0 angenommen wird,
wird der beobachtete Wert (y) als bester Hinweis auf den wahren Wert betrachtet.
*Obwohl wir davon ausgehen, dass der Messfehler einen Wert von 0 hat, kann er trotzdem eine Varianz haben.
Diese Varianz versuchen wir zu schätzen und zu berücksichtigen. Sobald man mehr als einen Indikator hat, kann
man die Messfehlerwerte halbwegs schätzen.
4
