Aantekeningen HC experimenteel
De highlights van KOM experimenteel:
- De empirische cirkel
- Causaliteit
- T-Toetsen om verschillen te onderzoeken
o P-waardes, betrouwbaarheidsinterval, power
o Effectgrootte
- Validiteit
Psychologen houden van experimenten, bijna al het onderzoek dat zij doen is experimenteel.
Sociologen houden een stuk minder van experimenten. Dit komt omdat psychologen graag
willen weten wat de verandering van een specifiek ding is, terwijl sociologen graag meerdere
aspecten bekijken. Hoe zinvol zijn experimenten voor sociologen?
- Beleid (bv. legale wietverkoop of basisinkomen, waarbij een grote willekeurige groep
mensen een basisinkomen krijgt en er wordt gekeken naar hoe zij hiermee om gaan)
- Veldexperimenten (ongelijkheid op scholen)
- Online (a/b testen, je doet een experiment door de tijd heen, bijv. de lay-out van
Instagram een klein beetje wijzigen en dan kijken hoe mensen daarop reageren)
De Empirische Cirkel
Een contemporaine empirische cirkel:
1. Theorie en onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese formuleren en pre-registratie
4. Steekproeftrekking, randomiseren en causaliteit, data verzamelen en datacontrole
5. Nulhypothese significant toetsen (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie-onderzoek
Voorbeeld: een Amerikaans onderzoek waarbij studenten op de dag van hun afstuderen
twee soorten teksten kregen. In de ene tekst stond omschreven dat je je leven gaat afsluiten
en dat er een deel van je leven voorbij is. In de andere tekst werd hier niks over vermeld. Het
onderzoek ging over gemixte gevoelens. De onderzoekers waren benieuwd of een vrolijke
dag, het afstuderen, ook verdrietige gevoelens kon oproepen door na te denken over dat
een deel van je leven voorbij was.
1. Onderzoeksvraag: Hebben studenten die eraan herinnerd worden dat ze hun
studententijd gaan afsluiten meer of minder gemixte gevoelens dan studenten die
daar niet aan herinnerd worden?
2. Onderzoeksontwerp: De onafhankelijke variabele is de groepsindeling. In de ene
groep worden studenten niet herinnerd aan de afsluiting van de studententijd. In de
andere groep worden de studenten daar wel aan herinnerd.
- De afhankelijke variabel is gemixte gevoelens. Elke student gaat rapporteren:
o Geluk op een schaal van 1 t/m 7
o Verdriet op een schaal van 1 t/m 7
- De gemixte emoties score is de kleinste van beide resulterende getallen
Scoor je 1 en 7 dan ben je niet blij en erg verdrietig en scoor je laag (1) op gemixte
gevoelens. Scoor je bij beide 7, dan ben je dus en blij en verdrietig dus scoor je hoog (7).
, 3. Hypothese formuleren: We stellen een hypothese op waar bij de niet
en wel de gemiddelde scores op gemixte gevoelens in de populaties
behorende bij de “niet” en “wel” groep weergeven.
4. Data verzameling: Nadat er een steekproef getrokken is en mensen over de controle
en experimentele condities verdeeld zijn, moeten de gegevens verzameld worden. In
onderhavige onderzoek is elke student gevraagd naar geluk en verdriet op een 7-
punt schaal lopen van helemaal niet tot extreem.
5. Hypothese evalueren: het voordeel van de NHST-meting is dat een van de twee waar
moet zijn, of de nulhypothese of de alternatieve hypothese. Een nadeel is dat de
alternatieve hypothese niet heel informatief is, je weet alleen dat er een verschil is
maar niet wat. Je kan ook een Bayesiaanse hypothese evaluatie uitvoeren
6.
Type I en Type II fouten:
, De replicatie crisis
Het onderzoek van het voorbeeld is een keer herhaald.
Andere mensen hebben precies dezelfde
onderzoeksopzet genomen en het onderzoek opnieuw
uitgevoerd bij een nieuwe groep mensen.
Bij het replicatieonderzoek mag de nulhypothese niet
worden verworpen, want er is een gele hoge p-waarde. Het nieuwe onderzoek toont dus aan
dat er geen verschil is, geen gemixte gevoelens na het lezen van een tekst.
Wat is een onderzoeksresultaat waard als het niet herhaald kan worden?
Drie observaties:
1. De originele studie heeft een p<.05, de replicatie studie heeft een p>.05.
2. De originele studie heeft een d=.45, de replicatie studie heeft een d=.01.
3. De replicatie studie heeft met 110 studenten per groep een power groter dan .80 om
een effect size van d=.45 te kunnen ontdekken. Het resultaat van de replicatie studie
is dan ook geen Type II fout.
Replicatie crisis
De replicatie crisis leidt tot de vraag hoe het mogelijk is dat de resultaten van
wetenschappelijk onderzoek vaak niet repliceerbaar blijken. Twee van de oorzaken zullen u
besproken worden: sloppy science en publicatie bias.
1. Sloppy science
Dit houdt in dat wetenschappers hun onderzoek niet altijd even netjes uitvoeren. Er zijn veel
manieren waarop dit kan gebeuren; soms wordt data bijvoorbeeld verzonnen of wordt er
bewust (achteraf) niet-bruikbare data weggelaten.
2. Publicatie bias
Wetenschappelijke tijdschriften willen graag een artikel posten waarmee zij interessant
nieuws kunnen delen. Dit gaat om onderzoeken met een significant resultaat, waar een
verschil gevonden is.
Daarom doen onderzoekers soms alsof ze een significant resultaat gevonden hebben, zodat
hun onderzoek gepost wordt door een tijdschrift.
Publicatie bias is het publiceren van onderzoek gebaseerd op Type I fouten. Deze fouten
kunnen zowel het gevolg zijn van toeval als van sloppy science.
Bayesiaanse Hypothese Evaluatie
Je kunt niet aan de hand van een Bayes Factor
zeggen of er een verschil is.
Het geeft een mate van steun aan, hoeveel
meer bewijs vinden we voor een hypothese.
De highlights van KOM experimenteel:
- De empirische cirkel
- Causaliteit
- T-Toetsen om verschillen te onderzoeken
o P-waardes, betrouwbaarheidsinterval, power
o Effectgrootte
- Validiteit
Psychologen houden van experimenten, bijna al het onderzoek dat zij doen is experimenteel.
Sociologen houden een stuk minder van experimenten. Dit komt omdat psychologen graag
willen weten wat de verandering van een specifiek ding is, terwijl sociologen graag meerdere
aspecten bekijken. Hoe zinvol zijn experimenten voor sociologen?
- Beleid (bv. legale wietverkoop of basisinkomen, waarbij een grote willekeurige groep
mensen een basisinkomen krijgt en er wordt gekeken naar hoe zij hiermee om gaan)
- Veldexperimenten (ongelijkheid op scholen)
- Online (a/b testen, je doet een experiment door de tijd heen, bijv. de lay-out van
Instagram een klein beetje wijzigen en dan kijken hoe mensen daarop reageren)
De Empirische Cirkel
Een contemporaine empirische cirkel:
1. Theorie en onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese formuleren en pre-registratie
4. Steekproeftrekking, randomiseren en causaliteit, data verzamelen en datacontrole
5. Nulhypothese significant toetsen (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie-onderzoek
Voorbeeld: een Amerikaans onderzoek waarbij studenten op de dag van hun afstuderen
twee soorten teksten kregen. In de ene tekst stond omschreven dat je je leven gaat afsluiten
en dat er een deel van je leven voorbij is. In de andere tekst werd hier niks over vermeld. Het
onderzoek ging over gemixte gevoelens. De onderzoekers waren benieuwd of een vrolijke
dag, het afstuderen, ook verdrietige gevoelens kon oproepen door na te denken over dat
een deel van je leven voorbij was.
1. Onderzoeksvraag: Hebben studenten die eraan herinnerd worden dat ze hun
studententijd gaan afsluiten meer of minder gemixte gevoelens dan studenten die
daar niet aan herinnerd worden?
2. Onderzoeksontwerp: De onafhankelijke variabele is de groepsindeling. In de ene
groep worden studenten niet herinnerd aan de afsluiting van de studententijd. In de
andere groep worden de studenten daar wel aan herinnerd.
- De afhankelijke variabel is gemixte gevoelens. Elke student gaat rapporteren:
o Geluk op een schaal van 1 t/m 7
o Verdriet op een schaal van 1 t/m 7
- De gemixte emoties score is de kleinste van beide resulterende getallen
Scoor je 1 en 7 dan ben je niet blij en erg verdrietig en scoor je laag (1) op gemixte
gevoelens. Scoor je bij beide 7, dan ben je dus en blij en verdrietig dus scoor je hoog (7).
, 3. Hypothese formuleren: We stellen een hypothese op waar bij de niet
en wel de gemiddelde scores op gemixte gevoelens in de populaties
behorende bij de “niet” en “wel” groep weergeven.
4. Data verzameling: Nadat er een steekproef getrokken is en mensen over de controle
en experimentele condities verdeeld zijn, moeten de gegevens verzameld worden. In
onderhavige onderzoek is elke student gevraagd naar geluk en verdriet op een 7-
punt schaal lopen van helemaal niet tot extreem.
5. Hypothese evalueren: het voordeel van de NHST-meting is dat een van de twee waar
moet zijn, of de nulhypothese of de alternatieve hypothese. Een nadeel is dat de
alternatieve hypothese niet heel informatief is, je weet alleen dat er een verschil is
maar niet wat. Je kan ook een Bayesiaanse hypothese evaluatie uitvoeren
6.
Type I en Type II fouten:
, De replicatie crisis
Het onderzoek van het voorbeeld is een keer herhaald.
Andere mensen hebben precies dezelfde
onderzoeksopzet genomen en het onderzoek opnieuw
uitgevoerd bij een nieuwe groep mensen.
Bij het replicatieonderzoek mag de nulhypothese niet
worden verworpen, want er is een gele hoge p-waarde. Het nieuwe onderzoek toont dus aan
dat er geen verschil is, geen gemixte gevoelens na het lezen van een tekst.
Wat is een onderzoeksresultaat waard als het niet herhaald kan worden?
Drie observaties:
1. De originele studie heeft een p<.05, de replicatie studie heeft een p>.05.
2. De originele studie heeft een d=.45, de replicatie studie heeft een d=.01.
3. De replicatie studie heeft met 110 studenten per groep een power groter dan .80 om
een effect size van d=.45 te kunnen ontdekken. Het resultaat van de replicatie studie
is dan ook geen Type II fout.
Replicatie crisis
De replicatie crisis leidt tot de vraag hoe het mogelijk is dat de resultaten van
wetenschappelijk onderzoek vaak niet repliceerbaar blijken. Twee van de oorzaken zullen u
besproken worden: sloppy science en publicatie bias.
1. Sloppy science
Dit houdt in dat wetenschappers hun onderzoek niet altijd even netjes uitvoeren. Er zijn veel
manieren waarop dit kan gebeuren; soms wordt data bijvoorbeeld verzonnen of wordt er
bewust (achteraf) niet-bruikbare data weggelaten.
2. Publicatie bias
Wetenschappelijke tijdschriften willen graag een artikel posten waarmee zij interessant
nieuws kunnen delen. Dit gaat om onderzoeken met een significant resultaat, waar een
verschil gevonden is.
Daarom doen onderzoekers soms alsof ze een significant resultaat gevonden hebben, zodat
hun onderzoek gepost wordt door een tijdschrift.
Publicatie bias is het publiceren van onderzoek gebaseerd op Type I fouten. Deze fouten
kunnen zowel het gevolg zijn van toeval als van sloppy science.
Bayesiaanse Hypothese Evaluatie
Je kunt niet aan de hand van een Bayes Factor
zeggen of er een verschil is.
Het geeft een mate van steun aan, hoeveel
meer bewijs vinden we voor een hypothese.
