3. Evaluierung des Testentwurfs – Itemanalysen
Testevaluierung: Schritte… 1) Explorative Faktorenanalyse, 2) Analyse der Itemschwierigkeiten,
3) Reliabilitäts- und Trennschärfeanalyse, 4) Itemselektion und -revision, 5) Testwerteermittlung,
6) Testeichung/Normierung
Unser Datensatz: N = 249 (davon N=237 ohne Missings), Alter von 18-82 Jahren (M = 31.5, SD =
14,07), 48% mit universitärem Abschluss
3.1 Explorative Faktoranalyse (EFA; nach KTT)
Ein Item soll nur durch einen Faktor repräsentiert werden (KTT)
Zweck der Faktorenanalyse: a) Struktur eines Sets von Variablen verstehen, b)
Fragebogenkonstruktion, c) Reduzierung eines Datensatzes auf eine leichter handhabbare Größe
bei gleichzeitiger Erhaltung der ursprünglichen Informationen – Versuch Komponenten zu finden,
die möglichst große Anteile der Itemvarianz erklären (Ziel: Varianzmaximierung)
Faktorenanalyse versucht Parsimonie (Sparsamkeit) zu erreichen, indem die maximale Menge
von gemeinsamer Varianz in der Korrelationsmatrix durch die kleinste Menge an erklärenden
Konstrukten zu erreichen
Begriffe
Ladung („Lamda“): semipartielles standardisiertes Regressionsgewicht. Antwort auf die Frage, um
wie viele Standardabweichungen sich (im Durchschnitt) die Ausprägung auf dem Item ändert,
wenn sich die Ausprägung auf dem Faktor um eine Standardabweichung ändert.
Kommunalität (h²): wie gut wird ein Item durch die Faktoren repräsentiert? Anteil der gesamten
Varianz einer Variablen, der auf die extrahierten gemeinsamen Faktoren zurückgeführt werden
kann. Berechnung: die Ladungen der unkorrelierten Faktoren für jedes Item werden quadriert und
summiert
Uniqueness (Einzigartigkeit): idiosynkratische Varianz eines Items. Setzt sich zusammen aus
Spezifität (p – h²) und dem Messfehler (1-p).
Eigenwert: Angabe für das Maß an Varianz der Items, dass durch eine Komponente erklärt wird
(„Wichtigkeit“ des Faktors). Bei der Faktorenanalyse: Anteil, den ein Faktor an gemeinsamer
Varianz aller Items aufklärt. Bei Hauptkomponentenanalyse: Anteil, den eine Komponente an
Gesamtvarianz der Items aufklärt.
, Faktorwert („Ksi“): gewichteter Wert, der eine Ausprägung einer Person auf einem Faktor darstellt
(Gewichtung erfolgt über Ladungen; Faktorwerte sind standardisiert: M=0, SD=1)
Methoden der Faktorenanalyse
Faktoren werden aufgrund der Daten für die Population geschätzt (ein statistisches Modell wird
gebildet). Faktoranalysen suchen nach gemeinsamer Varianz, die durch einen Faktor erklärt wird.
Hauptsächliche Methoden: Maximum Likelihood-Faktorenanalyse (wenn multivariate
Normalverteilung gegeben und CFA im Anschluss geplant ist). Hauptachsenfaktorenanalyse
(wenn keine multivariate Normalverteilung gegeben ist)
Hauptkomponentenanalyse (Principal Component Analyses): eigentlich keine Faktorenanalyse.
Ziel: Datenreduktion von vielen Variablen zu wenigen Supervariablen (=Komponenten) →
Zusammenfassung von Items. Im Gegensatz zur Faktorenanalyse werden in der PCA Daten in ein
Set von linearen Komponenten transformiert (deskriptiv, nur auf die vorliegende Stichprobe
bezogen; kein Messfehler wird berücksichtigt). Hauptkomponentenanalyse versucht die maximale
Gesamtvarianz (nicht: gemeinsame Varianz) zu erklären.
Faktorenextraktion
Es müssen verschiedene Kriterien gemeinsam berücksichtigt werden: Insbesondere a) inhaltliche
Plausibilität, wie gut können die Ladungen die beobachtete Korrelationsmatrix reproduzieren?
Bekannteste Methoden: a) Explizite Theorie/hypothetisches Modell, das bestimmte Faktoren
vorgibt, b) Eigenwertkriterium > 1, c) Scree-Test, d) Parallelanalyse, e) Minimum-Average-Partial-
Test (MAP-Test) → letztere beiden die empfohlenen Optionen (Bühner, 2011)
Extraktion von Faktoren
a) Theorie/Modell: Anzahl von Faktoren leitet sich aus der Theorie ab (zB Big 5). Eigentlich
müsste man eine konfirmatorische Faktorenanalyse (CFA) machen. Allerdings von Vorteil, wenn
bestimmte Faktoren bei der FA die Theorie stützen
b) Eigenwertkriterium > 1: sollte (eigentlich) nur im Rahmen einer Hauptkomponentenanalyse
durchgeführt werden. Logik: ist Eigenwert > 1, wird mehr Varianz aufgeklärt, als ein
standardisiertes Item besitzt. Nur dann anzuwenden, wenn eine besonders differenzierte
Aufgliederung eins Merkmalsbereichs angestrebt wird und besonders reliable Messwerte
vorliegen (Kommunalität bzw. Reliabilität nahe 1). Generell eher weniger empfohlene Methode, da
die Anzahl der Faktoren meist überschätzt wird.
c) Scree-Test nach Cattell (Scree = Geröllabhang): Suche nach einem Knick im Scree-Plot vor der
Rotation (von links nach rechts). Eigenwerte vor dem Knick werden gezählt. Recht subjektiv, wo
welcher Knick genommen wird.
d) Parallelanalyse nach Horn: meist empfohlene Variante. Bildung von Eigenwerten aus
Zufallsgrößen (Zufallsstichproben mit der tatsächlichen Stichprobengröße werden gebildet). Faktor
wird nur extrahiert, wenn empirisch beobachteter Eigenwert über einem Eigenwertverlauf von
Zufallswerten liegt. Aus Zufallsstichproben werden Komponenten/Faktoren extrahiert und
Verteilungen der Eigenwerte gebildet. Angegeben wird der Eigenwert, unter dem 95% der
Eigenwerte aus Zufallszahlen liegen (95%-Perzentil). Man vergleicht die Eigenwerte der Rohwerte
mit denen des 95%-Perzentils. Faktor bedeutsam, wenn der Eigenwert des Rohwerts über dem
des Perzentils liegt.
Paralleltest kann sowohl auf Hauptkomponentenanalyse als auch Hauptachsenanalyse
angewandt werden – bei der Hauptachsenanalyse findet allerdings häufig eine Überschätzung der
Anzahl an Faktoren statt.
Testevaluierung: Schritte… 1) Explorative Faktorenanalyse, 2) Analyse der Itemschwierigkeiten,
3) Reliabilitäts- und Trennschärfeanalyse, 4) Itemselektion und -revision, 5) Testwerteermittlung,
6) Testeichung/Normierung
Unser Datensatz: N = 249 (davon N=237 ohne Missings), Alter von 18-82 Jahren (M = 31.5, SD =
14,07), 48% mit universitärem Abschluss
3.1 Explorative Faktoranalyse (EFA; nach KTT)
Ein Item soll nur durch einen Faktor repräsentiert werden (KTT)
Zweck der Faktorenanalyse: a) Struktur eines Sets von Variablen verstehen, b)
Fragebogenkonstruktion, c) Reduzierung eines Datensatzes auf eine leichter handhabbare Größe
bei gleichzeitiger Erhaltung der ursprünglichen Informationen – Versuch Komponenten zu finden,
die möglichst große Anteile der Itemvarianz erklären (Ziel: Varianzmaximierung)
Faktorenanalyse versucht Parsimonie (Sparsamkeit) zu erreichen, indem die maximale Menge
von gemeinsamer Varianz in der Korrelationsmatrix durch die kleinste Menge an erklärenden
Konstrukten zu erreichen
Begriffe
Ladung („Lamda“): semipartielles standardisiertes Regressionsgewicht. Antwort auf die Frage, um
wie viele Standardabweichungen sich (im Durchschnitt) die Ausprägung auf dem Item ändert,
wenn sich die Ausprägung auf dem Faktor um eine Standardabweichung ändert.
Kommunalität (h²): wie gut wird ein Item durch die Faktoren repräsentiert? Anteil der gesamten
Varianz einer Variablen, der auf die extrahierten gemeinsamen Faktoren zurückgeführt werden
kann. Berechnung: die Ladungen der unkorrelierten Faktoren für jedes Item werden quadriert und
summiert
Uniqueness (Einzigartigkeit): idiosynkratische Varianz eines Items. Setzt sich zusammen aus
Spezifität (p – h²) und dem Messfehler (1-p).
Eigenwert: Angabe für das Maß an Varianz der Items, dass durch eine Komponente erklärt wird
(„Wichtigkeit“ des Faktors). Bei der Faktorenanalyse: Anteil, den ein Faktor an gemeinsamer
Varianz aller Items aufklärt. Bei Hauptkomponentenanalyse: Anteil, den eine Komponente an
Gesamtvarianz der Items aufklärt.
, Faktorwert („Ksi“): gewichteter Wert, der eine Ausprägung einer Person auf einem Faktor darstellt
(Gewichtung erfolgt über Ladungen; Faktorwerte sind standardisiert: M=0, SD=1)
Methoden der Faktorenanalyse
Faktoren werden aufgrund der Daten für die Population geschätzt (ein statistisches Modell wird
gebildet). Faktoranalysen suchen nach gemeinsamer Varianz, die durch einen Faktor erklärt wird.
Hauptsächliche Methoden: Maximum Likelihood-Faktorenanalyse (wenn multivariate
Normalverteilung gegeben und CFA im Anschluss geplant ist). Hauptachsenfaktorenanalyse
(wenn keine multivariate Normalverteilung gegeben ist)
Hauptkomponentenanalyse (Principal Component Analyses): eigentlich keine Faktorenanalyse.
Ziel: Datenreduktion von vielen Variablen zu wenigen Supervariablen (=Komponenten) →
Zusammenfassung von Items. Im Gegensatz zur Faktorenanalyse werden in der PCA Daten in ein
Set von linearen Komponenten transformiert (deskriptiv, nur auf die vorliegende Stichprobe
bezogen; kein Messfehler wird berücksichtigt). Hauptkomponentenanalyse versucht die maximale
Gesamtvarianz (nicht: gemeinsame Varianz) zu erklären.
Faktorenextraktion
Es müssen verschiedene Kriterien gemeinsam berücksichtigt werden: Insbesondere a) inhaltliche
Plausibilität, wie gut können die Ladungen die beobachtete Korrelationsmatrix reproduzieren?
Bekannteste Methoden: a) Explizite Theorie/hypothetisches Modell, das bestimmte Faktoren
vorgibt, b) Eigenwertkriterium > 1, c) Scree-Test, d) Parallelanalyse, e) Minimum-Average-Partial-
Test (MAP-Test) → letztere beiden die empfohlenen Optionen (Bühner, 2011)
Extraktion von Faktoren
a) Theorie/Modell: Anzahl von Faktoren leitet sich aus der Theorie ab (zB Big 5). Eigentlich
müsste man eine konfirmatorische Faktorenanalyse (CFA) machen. Allerdings von Vorteil, wenn
bestimmte Faktoren bei der FA die Theorie stützen
b) Eigenwertkriterium > 1: sollte (eigentlich) nur im Rahmen einer Hauptkomponentenanalyse
durchgeführt werden. Logik: ist Eigenwert > 1, wird mehr Varianz aufgeklärt, als ein
standardisiertes Item besitzt. Nur dann anzuwenden, wenn eine besonders differenzierte
Aufgliederung eins Merkmalsbereichs angestrebt wird und besonders reliable Messwerte
vorliegen (Kommunalität bzw. Reliabilität nahe 1). Generell eher weniger empfohlene Methode, da
die Anzahl der Faktoren meist überschätzt wird.
c) Scree-Test nach Cattell (Scree = Geröllabhang): Suche nach einem Knick im Scree-Plot vor der
Rotation (von links nach rechts). Eigenwerte vor dem Knick werden gezählt. Recht subjektiv, wo
welcher Knick genommen wird.
d) Parallelanalyse nach Horn: meist empfohlene Variante. Bildung von Eigenwerten aus
Zufallsgrößen (Zufallsstichproben mit der tatsächlichen Stichprobengröße werden gebildet). Faktor
wird nur extrahiert, wenn empirisch beobachteter Eigenwert über einem Eigenwertverlauf von
Zufallswerten liegt. Aus Zufallsstichproben werden Komponenten/Faktoren extrahiert und
Verteilungen der Eigenwerte gebildet. Angegeben wird der Eigenwert, unter dem 95% der
Eigenwerte aus Zufallszahlen liegen (95%-Perzentil). Man vergleicht die Eigenwerte der Rohwerte
mit denen des 95%-Perzentils. Faktor bedeutsam, wenn der Eigenwert des Rohwerts über dem
des Perzentils liegt.
Paralleltest kann sowohl auf Hauptkomponentenanalyse als auch Hauptachsenanalyse
angewandt werden – bei der Hauptachsenanalyse findet allerdings häufig eine Überschätzung der
Anzahl an Faktoren statt.
