Vorlesung 1: Testgüte von Messverfahren
1. Beschrieben Sie Haupt- und Nebengütekriterien psychometrischer Tests.
Hauptgütekriterien:
Validität: Eine Messung ist valide, wenn sie tatsächlich das misst, was sie
messen soll und somit glaubwürdige Ergebnisse liefert.
Reliabilität: Die Reliabilität bezieht sich darauf, ob deine Forschung bei
wiederholter Durchführung zuverlässige Ergebnisse liefert.
Objektivität: Eine Forschung ist objektiv, wenn keine ungewollten Einflüsse
durch involvierte Personen entstehen.
Objektivität: Durchführungsobjektivität, Auswertungsobjektivität,
Interpretationsobjektivität
Reliabilität: Interne Konsistenz, Split- Half Reliabilität, Paralleltestreliabilität,
Retestreliabilität
Validität:
Inhaltsvalidität
Konstruktvalidität: konvergente, diskriminante und faktorielle Validität
Kriteriumsvalidität: konkurrent, retrospektiv, prognostisch, inkrementell
Nebengütekriterien:
Skalierung, Normierung, Nützlichkeit, Ökonomie, Fairness, Unverfälschbarkeit,
Zumutbarkeit& Akzeptanz
2. Wo finden Sie geeignete Testverfahren?
Wissenschaftliche Artikel- und Test-Datenbanken
▪ Über die Unibibliothek
▪ Navigieren zu: Suchen & Finden / Datenbanken / Psychologie
▪ PsycINFO: Artikel aus ca. 2.500 Zeitschriften
▪ PSYNDEXplus: deutsch- und englischsprachige Artikel
▪ PSYNDEXplus Tests: Fragebogen und Testverfahren
▪ Ferner: Scopus und Web of Science / Social Sciences Citation Index (SSCI)
Test-Datenbanken bei Verlegern
▪ Psyndex: ZPID Verzeichnis Psychologischer Testanbieter
Globale Internet-Recherche
▪ Schlüsselwortsuche über Suchmaschinen
3. Was ist PSYNDEXplus?
Stand Nov. 2020 enthält PSYNDEXplusTests:
>3700 ausführliche Verfahrensbeschreibungen ("PSYNDEX Tests Review")
, >350 Kurzbeschreibungen ("PSYNDEX Tests Abstract")
>3900 Kurznachweise ("PSYNDEX Tests Info")
>8000 Testnachweise
Für jeden Test gibt es "vollständige" Beschreibungen von ca. 3 bis 10
Druckseiten nach einem einheitlichen Beschreibungsraster mit Angaben über
Testkonzept, Testkonstruktion und Testgütekriterien.
Jährlich kommen in zwei Updates ca. 100-150 Nachweise hinzu.
4. Was ist die DIN 33430 und wie kam es zur Checkliste-1?
▪ Initiative zur Qualitätsoptimierung in der (Personal-Selektions-) Diagnostik.
▪ Bezieht sich nur auf berufsbezogene Eignungsbeurteilungen
▪ Ist eine Prozess- und keine Produktnorm
▪ Bezieht sich nicht explizit auf Tests, sondern auf alle Verfahren
Die DIN 33430 Norm dient…
▪ als Leitfaden für die Planung und Durchführung von Eignungsbeurteilungen
▪ als Maßstab zur Bewertung externer Angebote
▪ der Qualitätssicherung und -optimierung
▪ dem Schutz der Kandidaten
▪ Kersting (2008) zerlegt die DIN 33430 in 318 Einzelaussagen.
▪ 140 Aussagen (44% aller Aussagen) der DIN 33430 sind Anforderungen an
Verfahren.
▪ Diese Teilmenge der DIN 33430 wurde als eigenständigen Checkliste-1
„Anforderungen an Verfahren “ zusammengefasst.
▪ Checkliste 1 gilt offiziell als „Standard zur Information und Dokumentation
von
Instrumenten zur Erfassung menschlichen Erlebens und Verhaltens.
5. Wie ist eine TBS-TK Rezension gegliedert?
,Vorlesung 2: Messfehler und Messmodelle
1. Skizzieren Sie die Messfehlertheorie. Nenne Sie Eigenschaften der
Messfehler und True-Score-Variablen.
Messfehlertheorie:
- Jede Messung einer Variablen (i) bei einer Person (m) lässt sich in einen
wahren Wert und in einen Messfehler zerlegen
- Ein unsystematischer Messfehler (Ablese- oder Eingabefehler) mittelt sich
bei unendlich vielen Messungen heraus
- Systematische Fehler (Merkmalsveränderungen über die Zeit/Entwicklung)
und echte Unterschiede, können nicht herausgemittelt werden
- Wahrer Wert= Erwartungswert bei unendlich vielen Messungen
Eigenschaften von Messfehlern und True- Score Variablen:
- Der Erwartungswert einer Messfehlervariablen ist für jede Ausprägung der
True-Score-Variablen gleich 0.
- E(εi| τi) = 0
- Der unbedingte Erwartungswert einer Messfehlervariablen ist gleich 0.
- E(εi) = 0
- Messfehler-und True-Score-Variablen sind unkorreliert.
- Cov(εi, τi) = 0
- Die Varianz einer beobachteten Messwertvariablen lässt sich additiv
zerlegen in die Varianz der True-Score-Variablen und die Varianz der
Messfehlervariablen.
- Var(Yi) = Var(τi) + Var(εi)
2. Beschreiben Sie das regressionsanalytische Messmodell: Wie werden
Regressionskoeffizienten und Ordinatenabschnitte interpretiert. Was ist zur
Reliabilität anzumerken?
- Jedes Item hat eine eigene True Score Relation mit dem Merkmal (𝜂).
Daher gibt es unterschiedliche Geraden.
- Die Items reflektieren das Merkmal in vergleichbarer Weise (gleiche
Steigung 𝛽), daher sind die Geraden parallel.
- Ohne Kenntnis des Fehleranteils (𝜀) lässt sich nichts über
Unterschiede in der Reliabilität (Messgenauigkeit) sagen. (Es fehlen die
Punkte des Streudiagramms.)
, - Die drei Items sind unterschiedlich schwierig: Item 1 (𝜏1) ist das
schwerste, da es im Schnitt die kleinsten Y Werte hat (kleinstes 𝛼1),
unabhängig von der Relation mit dem Merkmal.
3. Beschreiben Sie das pfadanalytische Messmodell: Wie werden Ladungen und
Fehlerterme interpretiert? Inwiefern handelt es sich beim pfadanalytischen
Messmodell (Faktoranalyse) um einen Spezialfall der Regression?
- Latente Variable (η)
= Gemeinsamer Faktor/ Prädiktor
- Relation zwischen latenten und manifesten Variablen (λ)
= Ladungen / Regressionen/ Steigung
- Manifeste Variablen (Y)
= Indikatoren/ Kriterium
- Fehler (ε)
= Messfehler, aber auch Uniqueness /Spezifität der Indikatoren
- Variablengleichung: Y1= λ1* η+ ε1 (es handelt sich um eine lineare
Regressionsgleichung)
- Die Faktorenanalyse ist ein Spezialfall eines Regressionsmodells: Ein
latenter Prädiktor (η) sagt mehrere beobachtbare Indikatoren (Y1 .. Y3)
voraus, bei dem Regressionsmodell wird nur ein Indikator vorhergesagt.
- Die Darstellung erlaubt die Visualisierung der Relationen (λ) von
Indikatoren und latentem Merkmal sowie der Fehler bzw. Spezifitäten der
Items (ε).
- Hingegen werden Intercepte i.d.R. nicht dargestellt.
4. Definieren Sie die Itemcharakteristiken, Mittelwert, Streuung und
Trennschärfe.
Itemschwierigkeit:
- Der Schwierigkeitsindex Pi eines Items i ist der Quotient aus der bei
diesem Item tatsächlich erreichten Punktsumme aller n Probanden und der
maximal erreichbaren Punktsumme, multipliziert mit 100.
- Der Schwierigkeitsindex wird berechnet aus der Spaltensumme und der
maximalen Punktsumme, multipliziertmit100.
- Durch Multiplikation mit 100 hat der Index einen Wertebereich von 0-100
- Anmerkung: Hohe Werte von Pi kennzeichnen eigentlich Item-Leichtigkeit.
- Mittelwert=
- Streuung= Varianz, Verteilung der Werte
Trennschärfe:
- Die Trennschärfe ist ein Maß für den Zusammenhang zwischen
Itemwert und Testwert. Sie wird als Korrelation berechnet, kann also
Werte zwischen 1 und -1 annehmen.
- Dabei ist der Testwert der Summenscore aller Items
- Üblicherweise wird die Part Whole Korrektur angewandt, um die
Trennschärfe nicht zu überschätzen.
1. Beschrieben Sie Haupt- und Nebengütekriterien psychometrischer Tests.
Hauptgütekriterien:
Validität: Eine Messung ist valide, wenn sie tatsächlich das misst, was sie
messen soll und somit glaubwürdige Ergebnisse liefert.
Reliabilität: Die Reliabilität bezieht sich darauf, ob deine Forschung bei
wiederholter Durchführung zuverlässige Ergebnisse liefert.
Objektivität: Eine Forschung ist objektiv, wenn keine ungewollten Einflüsse
durch involvierte Personen entstehen.
Objektivität: Durchführungsobjektivität, Auswertungsobjektivität,
Interpretationsobjektivität
Reliabilität: Interne Konsistenz, Split- Half Reliabilität, Paralleltestreliabilität,
Retestreliabilität
Validität:
Inhaltsvalidität
Konstruktvalidität: konvergente, diskriminante und faktorielle Validität
Kriteriumsvalidität: konkurrent, retrospektiv, prognostisch, inkrementell
Nebengütekriterien:
Skalierung, Normierung, Nützlichkeit, Ökonomie, Fairness, Unverfälschbarkeit,
Zumutbarkeit& Akzeptanz
2. Wo finden Sie geeignete Testverfahren?
Wissenschaftliche Artikel- und Test-Datenbanken
▪ Über die Unibibliothek
▪ Navigieren zu: Suchen & Finden / Datenbanken / Psychologie
▪ PsycINFO: Artikel aus ca. 2.500 Zeitschriften
▪ PSYNDEXplus: deutsch- und englischsprachige Artikel
▪ PSYNDEXplus Tests: Fragebogen und Testverfahren
▪ Ferner: Scopus und Web of Science / Social Sciences Citation Index (SSCI)
Test-Datenbanken bei Verlegern
▪ Psyndex: ZPID Verzeichnis Psychologischer Testanbieter
Globale Internet-Recherche
▪ Schlüsselwortsuche über Suchmaschinen
3. Was ist PSYNDEXplus?
Stand Nov. 2020 enthält PSYNDEXplusTests:
>3700 ausführliche Verfahrensbeschreibungen ("PSYNDEX Tests Review")
, >350 Kurzbeschreibungen ("PSYNDEX Tests Abstract")
>3900 Kurznachweise ("PSYNDEX Tests Info")
>8000 Testnachweise
Für jeden Test gibt es "vollständige" Beschreibungen von ca. 3 bis 10
Druckseiten nach einem einheitlichen Beschreibungsraster mit Angaben über
Testkonzept, Testkonstruktion und Testgütekriterien.
Jährlich kommen in zwei Updates ca. 100-150 Nachweise hinzu.
4. Was ist die DIN 33430 und wie kam es zur Checkliste-1?
▪ Initiative zur Qualitätsoptimierung in der (Personal-Selektions-) Diagnostik.
▪ Bezieht sich nur auf berufsbezogene Eignungsbeurteilungen
▪ Ist eine Prozess- und keine Produktnorm
▪ Bezieht sich nicht explizit auf Tests, sondern auf alle Verfahren
Die DIN 33430 Norm dient…
▪ als Leitfaden für die Planung und Durchführung von Eignungsbeurteilungen
▪ als Maßstab zur Bewertung externer Angebote
▪ der Qualitätssicherung und -optimierung
▪ dem Schutz der Kandidaten
▪ Kersting (2008) zerlegt die DIN 33430 in 318 Einzelaussagen.
▪ 140 Aussagen (44% aller Aussagen) der DIN 33430 sind Anforderungen an
Verfahren.
▪ Diese Teilmenge der DIN 33430 wurde als eigenständigen Checkliste-1
„Anforderungen an Verfahren “ zusammengefasst.
▪ Checkliste 1 gilt offiziell als „Standard zur Information und Dokumentation
von
Instrumenten zur Erfassung menschlichen Erlebens und Verhaltens.
5. Wie ist eine TBS-TK Rezension gegliedert?
,Vorlesung 2: Messfehler und Messmodelle
1. Skizzieren Sie die Messfehlertheorie. Nenne Sie Eigenschaften der
Messfehler und True-Score-Variablen.
Messfehlertheorie:
- Jede Messung einer Variablen (i) bei einer Person (m) lässt sich in einen
wahren Wert und in einen Messfehler zerlegen
- Ein unsystematischer Messfehler (Ablese- oder Eingabefehler) mittelt sich
bei unendlich vielen Messungen heraus
- Systematische Fehler (Merkmalsveränderungen über die Zeit/Entwicklung)
und echte Unterschiede, können nicht herausgemittelt werden
- Wahrer Wert= Erwartungswert bei unendlich vielen Messungen
Eigenschaften von Messfehlern und True- Score Variablen:
- Der Erwartungswert einer Messfehlervariablen ist für jede Ausprägung der
True-Score-Variablen gleich 0.
- E(εi| τi) = 0
- Der unbedingte Erwartungswert einer Messfehlervariablen ist gleich 0.
- E(εi) = 0
- Messfehler-und True-Score-Variablen sind unkorreliert.
- Cov(εi, τi) = 0
- Die Varianz einer beobachteten Messwertvariablen lässt sich additiv
zerlegen in die Varianz der True-Score-Variablen und die Varianz der
Messfehlervariablen.
- Var(Yi) = Var(τi) + Var(εi)
2. Beschreiben Sie das regressionsanalytische Messmodell: Wie werden
Regressionskoeffizienten und Ordinatenabschnitte interpretiert. Was ist zur
Reliabilität anzumerken?
- Jedes Item hat eine eigene True Score Relation mit dem Merkmal (𝜂).
Daher gibt es unterschiedliche Geraden.
- Die Items reflektieren das Merkmal in vergleichbarer Weise (gleiche
Steigung 𝛽), daher sind die Geraden parallel.
- Ohne Kenntnis des Fehleranteils (𝜀) lässt sich nichts über
Unterschiede in der Reliabilität (Messgenauigkeit) sagen. (Es fehlen die
Punkte des Streudiagramms.)
, - Die drei Items sind unterschiedlich schwierig: Item 1 (𝜏1) ist das
schwerste, da es im Schnitt die kleinsten Y Werte hat (kleinstes 𝛼1),
unabhängig von der Relation mit dem Merkmal.
3. Beschreiben Sie das pfadanalytische Messmodell: Wie werden Ladungen und
Fehlerterme interpretiert? Inwiefern handelt es sich beim pfadanalytischen
Messmodell (Faktoranalyse) um einen Spezialfall der Regression?
- Latente Variable (η)
= Gemeinsamer Faktor/ Prädiktor
- Relation zwischen latenten und manifesten Variablen (λ)
= Ladungen / Regressionen/ Steigung
- Manifeste Variablen (Y)
= Indikatoren/ Kriterium
- Fehler (ε)
= Messfehler, aber auch Uniqueness /Spezifität der Indikatoren
- Variablengleichung: Y1= λ1* η+ ε1 (es handelt sich um eine lineare
Regressionsgleichung)
- Die Faktorenanalyse ist ein Spezialfall eines Regressionsmodells: Ein
latenter Prädiktor (η) sagt mehrere beobachtbare Indikatoren (Y1 .. Y3)
voraus, bei dem Regressionsmodell wird nur ein Indikator vorhergesagt.
- Die Darstellung erlaubt die Visualisierung der Relationen (λ) von
Indikatoren und latentem Merkmal sowie der Fehler bzw. Spezifitäten der
Items (ε).
- Hingegen werden Intercepte i.d.R. nicht dargestellt.
4. Definieren Sie die Itemcharakteristiken, Mittelwert, Streuung und
Trennschärfe.
Itemschwierigkeit:
- Der Schwierigkeitsindex Pi eines Items i ist der Quotient aus der bei
diesem Item tatsächlich erreichten Punktsumme aller n Probanden und der
maximal erreichbaren Punktsumme, multipliziert mit 100.
- Der Schwierigkeitsindex wird berechnet aus der Spaltensumme und der
maximalen Punktsumme, multipliziertmit100.
- Durch Multiplikation mit 100 hat der Index einen Wertebereich von 0-100
- Anmerkung: Hohe Werte von Pi kennzeichnen eigentlich Item-Leichtigkeit.
- Mittelwert=
- Streuung= Varianz, Verteilung der Werte
Trennschärfe:
- Die Trennschärfe ist ein Maß für den Zusammenhang zwischen
Itemwert und Testwert. Sie wird als Korrelation berechnet, kann also
Werte zwischen 1 und -1 annehmen.
- Dabei ist der Testwert der Summenscore aller Items
- Üblicherweise wird die Part Whole Korrektur angewandt, um die
Trennschärfe nicht zu überschätzen.
