1. Gütekriterien
Hauptgütekriterien:
Validität [= Grad der Genauigkeit, mit dem ein Test das Persönlichkeitsmerkmal misst, welches er messen soll]
Inhaltsvalidität - Inhalt des Tests mit Curriculum übereinstimmend
Empirische Validität - kann ein bestimmter Text ein bestimmtes Verhalten vorhersagen?
Konstruktvalidität - Hypothetisches Konstrukt (These) als Grundlage [z.B. Prüfungsangst]
Kriteriumsvalidität
Herstellungsvalidität - Übereinstimmung Test- und Unterrichtsinhalt
Objektivität [= Grad, in dem Ergebnisse eines Tests unabhängig vom Untersucher sind]
Durchführungsobjektivität - Standardisierung von Aufgaben u. Bedingungen
Auswertungsobjektivität - unterschiedliche Auswerter kommen zu selben Ergebnis
Interpretationsobjektivität - Tabellen/Notenschlüssen zur Eindeutigen Interpretation
Reliabilität [= Grad der Genauigkeit eines Verfahrens – Messfehler minimieren]
Retest- Methode - gleicher Test, gleiche Probanden, anderer Zeitpunkt (zeitl. Stabilität)
Paralelltest-Methode - ähnliche Tests (gleiche Aufgabentypen) testen gleiches Merkmal
Konstistenz-Methode - Gleichheit von Testitems (Gleicher Inhalt, andere Formulierung)
Testhalbierungs-Methode - Test wird nach Durchführung halbiert, getrennt ausgewertet und miteinander verglichen
Nebengütekriterien:
Normierung - Bezugsnorm des Tests (Soziale, Individuelle, Kriteriale)
Nützbarkeit & Zumutbarkeit - Nutzen übersteigt Belastung der Testperson
Ökonomie - Nutzen übersteigt Kosten
Vergleichbarkeit - wenn, Paralleltests / validitätsähnliche Tests verfügbar
Akzeptanz - gesellschaftlich angenommene Funktion der Tests
,2. Fähigkeits- und Leistungstest
Wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer empirisch
Test = abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage
über den relativen Grad der individuellen Merkmalsausprägung.
Leistung [= ein auf Normen bezogenes Resultat]
Konvergente Leistung [richtiges/eindeutig bestes Ergebnis]
Divergente Leistung [kann zu vielen, gleichwertigen Ergebnissen führen]
Fähigkeitstest = Testen von breiten, intellektuellen Fähigkeiten, normbezogen.
→ gewinnen von Informationen zur Beratung und Anleitung von SuS
[verbale, mathematische Fähigkeiten, mechanisches Verständnis, räumliche Auffassung, schriftliche Ausdrucksfähigkeit]
Schulleistung [= die von der Schule initiierten Leistungsprozesse und Lernergebnisse der Schüler]
Schulleistungstest
Verfahren der pädagogischen Diagnostik Ergebnisse von geplanten, und an Curriculum orientierten
Lehrvorgängen möglichst genau zu messen, auszuwerten, zu interpretieren und nutzbar zu machen.
Informelle Schulleistungstests [= Von der Lehrkraft konstruierten und durchgeführte Schulleistungstests]
Vorteile Nachteile
Gute Erfüllung Gütekriterien Ratewahrscheinlichkeit gegeben
Curriculare Validität berücksichtigt Gütekriterien schlechter als bei formellen SLT
Geringe Kosten aufwendig zu Erstellen
Schnelle Korrektur durch Prüfungsformat Qualität Lehrkraftabhängig
unterrichtsnah Aufgabenanalyse erst im Nachhinein
Formelle Schulleistungstest:
Kriterienorientierte / Normorientierte Schulleitungstests
Vorteile Nachteile
Gütekriterien sind erfüllt unökonomisch (hohe Kosten)
Überprüfung des eigenen Benotungssystems Erstarrung des Unterricht
Überprüfung Leistungsstand der Klasse (starke Orientierung an Lehrplan)
Individuelle Stärken/Schwächen testen negative motivationale Folgen
Prüfen von Lernvoraussetzungen nicht für alle Fächer/Schularten verfügbar
Normorientiert = Vergleich mit Bezugsgruppe
Kriterienorientiert (Lernzielorientiert) = Vergleich mit festgelegten Kriterien
Konstruktion formeller SLT:
1. Curriculare Analyse
2. Konstruktion der Testaufgaben
3. Empirische Analyse (Stichprobe + Analyse)
4. Normierung (Festlegen der Bezugsform)
Beispiele formelle SLT:
Rechentest: RT9+ (Ende 9. Kl.) Lesetest (WLST)
-> vor Ausbildungsbeginn, Einzel-/Gruppentest Würzburger Lesestrategie-Wissenstest
- Wissen über Angemessenheit von Lese/-Lernstrategien (Kl.
7-12)
Mehrfächertest (Hamburger Schulleistungstest HST) Rechtschreibtest (Hamburger Schreibprobe HSP)
- Bei Überprüfung der Förderschulbedürftigkeit - Erfassung des Schreibkönnens
(Kl. 4-5) -> individuelle Einschätzung
, 3. Erhebungsverfahren/Diagnostische Verfahren
Beobachtung = Absichtliche, aufmerksame Art des Wahrnehmens, die ganz bestimmte Aspekte auf Kosten der Bestimmtheit von anderen betrachtet.
Arten
offen vs. verdeckt [Personen wissen es, oder halt nicht]
fremd- vs. selbst [Durch Beobachter/ durch Tagebücher, Selbsteinschätzung]
(nicht-) teilnehmend [Beobachter nimmt teil oder nicht]
Feld vs. Labor [in natürlicher/ geplanter Umgebung]
systematisch / unsystematisch [Zielgerichtetes Zuschauen, oder nicht zielgerichtetes Zuschauen]
technisch (nicht) vermittelt [mit/ohne technische Hilfsmittel]
(dis)kontinuierlich [ständige / punktuelle Beobachtung]
Beobachtungsmethoden Beobachtungskriterien
- Sprechzeit Lehrer/Schüler
Kategoriensystem
- Wartezeiten /Impulse
[Verhalten mittels Kategorien erfassen]
- Arbeitsformen in Klasse
Zeichensystem
[Häufigkeit eines Ereignis registrieren (= Strichlisten)] - Auffälligkeiten
Ratingskala - FIAC (Flanders Interaction Categories)
[Grad der Ausprägung eines Verhaltens festhalten (Schätzskalen)] - IPA nach Trollendenier
Ziele: Selbstkontrolle Lehrer, Effizienzkontrolle Methoden, Benotungssystem überprüfen,
Verhaltensprobleme von Schüler, Konflikte
Beobachtungs- und Beurteilungsfehler
Halo Effekt Subjektive Verzerrung Primacy- / Recency Pygmalion- Effekt
Hervorstechende Merkmale Persönliches Verhältnis, Frühe Bildung des selbsterfüllende Prophezeiung
übersteigen andere persönliche Einschätzung Gesamteindrucks / Kontrasteffekte
(Fehlverhalten beeinflusst Letzter Eindruck zählt am
Wahrnehmung) meisten
Logische Fehler strenge/ milde Fehler d. Prüf. Müdigkeit der Person Kontrasteffekte
Konstruktion einer Beobachtung (Medley, 1963)
Abgrenzung Beobachtungsziel → Entwurf Kategoriensystem → Festlegen Intensität/Häufigkeit des Verhalten →
Plan zum Ablauf der Beobachtung → Training Beobachter → Durchführung
Beurteilung = die abstrahierende Beschreibung des Verhaltens mit anschließender Deutung des Verhaltens, wobei ein Vergleich der
Beobachtungseinflüsse mit Milieueinflüssen und Lebenslaufdaten stattfindet.
Anamnese = das Insgesamt der Mitteilungen eines Probanden oder einer wesentlichen Bezugsperson über seine Persönlichkeit,
Lebensgeschichte, soziale Bezüge, Erlebnisse, Handlungen, Einstellungen und Wünsche im allgemeinen oder in speziellen
Bereichen.
Fragen: Alter, Klasse, Eltern, Geschwister, Freunde, Hobbys, Einstellung zur Schule, Schulleistungen, Probleme in Schule
Formen: Biographische A. [Lebensgeschichte, Chronologie], Partielle Angaben [nur Teilbereich des Lebenslauf],
Selbst – o. Fremdanamnese [einer Person], Lebenslaufanalyse [Anamnestische Daten + indikative Angaben (Tagebücher)]
Interview = ein planmäßiges Vorgehen mit wissenschaftlicher Zielsetzung, bei dem die Versuchspersonen durch eine Reihe
gezielter fragen oder mitgeteilter Stimuli zu verbalten Informationen veranlasst werden sollen.
Standardisiert Halbstandardisiert Problemzentriert Frei
Fragen/Wortlaut Gesprächsthema fix, offene Befragung zum Thema Gesprächsthema
detailliert festgelegt Fragen nicht formuliert entwickelt sich
Formen: Anzahl Interviewer / Befragte
Duale Form 1:1 Joint Interviews 1:1 +1 Reziproke Sozialsituation
Befragter hat Familienangehörigen dabei Mehr Interviewer als Befragte → Stress
Manipulation: Intrigation (Einschmeicheln), Einschüchtern, Exemplifikation, Demut/Schwäche/Abhängigkeit betonen,
Übertreibung, Angeberei, Nachgeben, Kompromisse, Gezieltes Weglassen, Selbstbetrug, Wunschdenken
Hauptgütekriterien:
Validität [= Grad der Genauigkeit, mit dem ein Test das Persönlichkeitsmerkmal misst, welches er messen soll]
Inhaltsvalidität - Inhalt des Tests mit Curriculum übereinstimmend
Empirische Validität - kann ein bestimmter Text ein bestimmtes Verhalten vorhersagen?
Konstruktvalidität - Hypothetisches Konstrukt (These) als Grundlage [z.B. Prüfungsangst]
Kriteriumsvalidität
Herstellungsvalidität - Übereinstimmung Test- und Unterrichtsinhalt
Objektivität [= Grad, in dem Ergebnisse eines Tests unabhängig vom Untersucher sind]
Durchführungsobjektivität - Standardisierung von Aufgaben u. Bedingungen
Auswertungsobjektivität - unterschiedliche Auswerter kommen zu selben Ergebnis
Interpretationsobjektivität - Tabellen/Notenschlüssen zur Eindeutigen Interpretation
Reliabilität [= Grad der Genauigkeit eines Verfahrens – Messfehler minimieren]
Retest- Methode - gleicher Test, gleiche Probanden, anderer Zeitpunkt (zeitl. Stabilität)
Paralelltest-Methode - ähnliche Tests (gleiche Aufgabentypen) testen gleiches Merkmal
Konstistenz-Methode - Gleichheit von Testitems (Gleicher Inhalt, andere Formulierung)
Testhalbierungs-Methode - Test wird nach Durchführung halbiert, getrennt ausgewertet und miteinander verglichen
Nebengütekriterien:
Normierung - Bezugsnorm des Tests (Soziale, Individuelle, Kriteriale)
Nützbarkeit & Zumutbarkeit - Nutzen übersteigt Belastung der Testperson
Ökonomie - Nutzen übersteigt Kosten
Vergleichbarkeit - wenn, Paralleltests / validitätsähnliche Tests verfügbar
Akzeptanz - gesellschaftlich angenommene Funktion der Tests
,2. Fähigkeits- und Leistungstest
Wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer empirisch
Test = abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage
über den relativen Grad der individuellen Merkmalsausprägung.
Leistung [= ein auf Normen bezogenes Resultat]
Konvergente Leistung [richtiges/eindeutig bestes Ergebnis]
Divergente Leistung [kann zu vielen, gleichwertigen Ergebnissen führen]
Fähigkeitstest = Testen von breiten, intellektuellen Fähigkeiten, normbezogen.
→ gewinnen von Informationen zur Beratung und Anleitung von SuS
[verbale, mathematische Fähigkeiten, mechanisches Verständnis, räumliche Auffassung, schriftliche Ausdrucksfähigkeit]
Schulleistung [= die von der Schule initiierten Leistungsprozesse und Lernergebnisse der Schüler]
Schulleistungstest
Verfahren der pädagogischen Diagnostik Ergebnisse von geplanten, und an Curriculum orientierten
Lehrvorgängen möglichst genau zu messen, auszuwerten, zu interpretieren und nutzbar zu machen.
Informelle Schulleistungstests [= Von der Lehrkraft konstruierten und durchgeführte Schulleistungstests]
Vorteile Nachteile
Gute Erfüllung Gütekriterien Ratewahrscheinlichkeit gegeben
Curriculare Validität berücksichtigt Gütekriterien schlechter als bei formellen SLT
Geringe Kosten aufwendig zu Erstellen
Schnelle Korrektur durch Prüfungsformat Qualität Lehrkraftabhängig
unterrichtsnah Aufgabenanalyse erst im Nachhinein
Formelle Schulleistungstest:
Kriterienorientierte / Normorientierte Schulleitungstests
Vorteile Nachteile
Gütekriterien sind erfüllt unökonomisch (hohe Kosten)
Überprüfung des eigenen Benotungssystems Erstarrung des Unterricht
Überprüfung Leistungsstand der Klasse (starke Orientierung an Lehrplan)
Individuelle Stärken/Schwächen testen negative motivationale Folgen
Prüfen von Lernvoraussetzungen nicht für alle Fächer/Schularten verfügbar
Normorientiert = Vergleich mit Bezugsgruppe
Kriterienorientiert (Lernzielorientiert) = Vergleich mit festgelegten Kriterien
Konstruktion formeller SLT:
1. Curriculare Analyse
2. Konstruktion der Testaufgaben
3. Empirische Analyse (Stichprobe + Analyse)
4. Normierung (Festlegen der Bezugsform)
Beispiele formelle SLT:
Rechentest: RT9+ (Ende 9. Kl.) Lesetest (WLST)
-> vor Ausbildungsbeginn, Einzel-/Gruppentest Würzburger Lesestrategie-Wissenstest
- Wissen über Angemessenheit von Lese/-Lernstrategien (Kl.
7-12)
Mehrfächertest (Hamburger Schulleistungstest HST) Rechtschreibtest (Hamburger Schreibprobe HSP)
- Bei Überprüfung der Förderschulbedürftigkeit - Erfassung des Schreibkönnens
(Kl. 4-5) -> individuelle Einschätzung
, 3. Erhebungsverfahren/Diagnostische Verfahren
Beobachtung = Absichtliche, aufmerksame Art des Wahrnehmens, die ganz bestimmte Aspekte auf Kosten der Bestimmtheit von anderen betrachtet.
Arten
offen vs. verdeckt [Personen wissen es, oder halt nicht]
fremd- vs. selbst [Durch Beobachter/ durch Tagebücher, Selbsteinschätzung]
(nicht-) teilnehmend [Beobachter nimmt teil oder nicht]
Feld vs. Labor [in natürlicher/ geplanter Umgebung]
systematisch / unsystematisch [Zielgerichtetes Zuschauen, oder nicht zielgerichtetes Zuschauen]
technisch (nicht) vermittelt [mit/ohne technische Hilfsmittel]
(dis)kontinuierlich [ständige / punktuelle Beobachtung]
Beobachtungsmethoden Beobachtungskriterien
- Sprechzeit Lehrer/Schüler
Kategoriensystem
- Wartezeiten /Impulse
[Verhalten mittels Kategorien erfassen]
- Arbeitsformen in Klasse
Zeichensystem
[Häufigkeit eines Ereignis registrieren (= Strichlisten)] - Auffälligkeiten
Ratingskala - FIAC (Flanders Interaction Categories)
[Grad der Ausprägung eines Verhaltens festhalten (Schätzskalen)] - IPA nach Trollendenier
Ziele: Selbstkontrolle Lehrer, Effizienzkontrolle Methoden, Benotungssystem überprüfen,
Verhaltensprobleme von Schüler, Konflikte
Beobachtungs- und Beurteilungsfehler
Halo Effekt Subjektive Verzerrung Primacy- / Recency Pygmalion- Effekt
Hervorstechende Merkmale Persönliches Verhältnis, Frühe Bildung des selbsterfüllende Prophezeiung
übersteigen andere persönliche Einschätzung Gesamteindrucks / Kontrasteffekte
(Fehlverhalten beeinflusst Letzter Eindruck zählt am
Wahrnehmung) meisten
Logische Fehler strenge/ milde Fehler d. Prüf. Müdigkeit der Person Kontrasteffekte
Konstruktion einer Beobachtung (Medley, 1963)
Abgrenzung Beobachtungsziel → Entwurf Kategoriensystem → Festlegen Intensität/Häufigkeit des Verhalten →
Plan zum Ablauf der Beobachtung → Training Beobachter → Durchführung
Beurteilung = die abstrahierende Beschreibung des Verhaltens mit anschließender Deutung des Verhaltens, wobei ein Vergleich der
Beobachtungseinflüsse mit Milieueinflüssen und Lebenslaufdaten stattfindet.
Anamnese = das Insgesamt der Mitteilungen eines Probanden oder einer wesentlichen Bezugsperson über seine Persönlichkeit,
Lebensgeschichte, soziale Bezüge, Erlebnisse, Handlungen, Einstellungen und Wünsche im allgemeinen oder in speziellen
Bereichen.
Fragen: Alter, Klasse, Eltern, Geschwister, Freunde, Hobbys, Einstellung zur Schule, Schulleistungen, Probleme in Schule
Formen: Biographische A. [Lebensgeschichte, Chronologie], Partielle Angaben [nur Teilbereich des Lebenslauf],
Selbst – o. Fremdanamnese [einer Person], Lebenslaufanalyse [Anamnestische Daten + indikative Angaben (Tagebücher)]
Interview = ein planmäßiges Vorgehen mit wissenschaftlicher Zielsetzung, bei dem die Versuchspersonen durch eine Reihe
gezielter fragen oder mitgeteilter Stimuli zu verbalten Informationen veranlasst werden sollen.
Standardisiert Halbstandardisiert Problemzentriert Frei
Fragen/Wortlaut Gesprächsthema fix, offene Befragung zum Thema Gesprächsthema
detailliert festgelegt Fragen nicht formuliert entwickelt sich
Formen: Anzahl Interviewer / Befragte
Duale Form 1:1 Joint Interviews 1:1 +1 Reziproke Sozialsituation
Befragter hat Familienangehörigen dabei Mehr Interviewer als Befragte → Stress
Manipulation: Intrigation (Einschmeicheln), Einschüchtern, Exemplifikation, Demut/Schwäche/Abhängigkeit betonen,
Übertreibung, Angeberei, Nachgeben, Kompromisse, Gezieltes Weglassen, Selbstbetrug, Wunschdenken
