Experimental Research in HCI Darren Gergle and
Desney S. Tan
The experimental method is a technique used to collect data and build scientific knowledge.
→ In de kern heeft experimenteel onderzoek tot doel aan te tonen hoe de
manipulatie van een interessante variabele een directe causale invloed heeft op een andere
interessante variabele.
Benodigde elementen voor goed experimenteel onderzoek:
1. notion of Causality
- Impliceert dat de veranderingen in X leiden tot vernaderingen in Y
2. Idea of Variables
- Het concept van variabelen omvat het manipuleren van onafhankelijke
variabelen, zoals de framesnelheid in dit voorbeeld, om hun impact op
afhankelijke variabelen te observeren, zoals een beoordelingsscore die de
menselijke waarneming van vloeiende beweging meet, terwijl andere factoren
constant worden gehouden.
3. Hypothese
- De formulatie van een hypothese is belangrijk en stelt duidelijk de parameters
vast en communiceert de verwachte relatie.
4. Random assignment
- Dit beschermt tegen systematische vooroordelen in toewijzing van de
deelnemers aan de experimentele omstandigheden en verhoogt de kans en
vergroot de kans dat verschillen tussen de groepen uitsluitend voortkomen uit
de behandeling waaraan ze zijn toegewezen.
Experimentele technieken worden ook wijd gebruikt in usability testing om te flaws te helpen
vinden in ontwerpen.
Voordelen van experimenteel onderzoek.
1. Interne validiteit → onderzoekers kunnen systematische fouten en
vooringenomenheden minimaliseren. Het stelt ze in staat sterke causale verbanden
vast te stellen.
2. Focus op causale relaties
3. Precieze controle van afhankelijke variabelen
4. Opbouwen van modellen en begrip van interacties
5. Systematische Test van Theoretische Propositions:
6. Repliceerbaarheid en generaliseerbaarheid
Limitaties
1. Externe validiteit
2. Ze willen vaak bewijzen dat hun systeem ‘just as good is’
- effect sizes, confidence intervals, power analysis
3. Hypotheses nooit echt ‘bewezen’
, Hoe opzetten?
Hypithesze
Een statement opstellen die te maken heeft met een voorspelling over een relatie tussen
twee variabelen. Een goede hypothese heeft een aantal karakteristieken:
- Precise → clearly state the conditions and predicted relationship
- Meaningful → leading the development of new research, poinitn to new theoreis
- Testable → be able to manipulate the levels of one variable and accurately measure
the outcome
- Falsifiable → You must be able to disprove the statement with empirical data.
hypothesis testen
1. De null hypothese constateert dat er geen verschil is tussen experimentele
voorwaarden
2. De tweede stap is het bepalen van een significantieniveau. Dit is een vooraf
bepaalde waarde die een tolerantie definieert voor het verwerpen vn de
nulhypothese wanneer deze daadwerkelijk waar is.
3. Data verzamelen
- De p-waarde geeft aan wat de kans is om de waargenomen gegevens, of
meer extreme gegevens, te verkrijgen als de nulhypothese waar zou zijn.
4. De laatste stap vergelijkt de waargenomen p-waarde met het eerder genoemde
significantieniveau. Als p < α, dan verwerp je de nulhypothese.
Vier typen variabelen
Independent Variable
De onafhankelijke variabele (IV) wordt gemanipuleerd door de onderzoeker, en de
verschillende omstandigheden ervan zijn de belangrijkste factor die wordt onderzocht. Het
wordt vaak aangeduid als X en wordt verondersteld de oorzaak te zijn van veranderingen die
optreden in de afhankelijke variabele, of Y.
Factors taken into account:
- well-controlled variation
- de vaardigheid om een duidelijke operationele definitie te geven en te bevestigen dat
je IV het beoogde effect heeft op een deelnemer. Een manipulation check, om te
verzekeren dat de manipulatie de gewilde invloed had op participanten,
- Het bereik.
dependent variable
De afhankelijke variabele (DV), vaak aangeduid als Y, is de uitkomstmaat waarvan wordt
voorspeld dat deze varieert op basis van de niveaus van de IV.
stappen om de betrouwbaarheid van een variabele te vergtoren
- Geef duidelijk de regels aan voor het kwantificeren van je meting.
- Geef duidelijk de scope en grenzen aan van wat je gaat meten.
Control variable
Een potentiele IV die constant wordt gehouden.
Desney S. Tan
The experimental method is a technique used to collect data and build scientific knowledge.
→ In de kern heeft experimenteel onderzoek tot doel aan te tonen hoe de
manipulatie van een interessante variabele een directe causale invloed heeft op een andere
interessante variabele.
Benodigde elementen voor goed experimenteel onderzoek:
1. notion of Causality
- Impliceert dat de veranderingen in X leiden tot vernaderingen in Y
2. Idea of Variables
- Het concept van variabelen omvat het manipuleren van onafhankelijke
variabelen, zoals de framesnelheid in dit voorbeeld, om hun impact op
afhankelijke variabelen te observeren, zoals een beoordelingsscore die de
menselijke waarneming van vloeiende beweging meet, terwijl andere factoren
constant worden gehouden.
3. Hypothese
- De formulatie van een hypothese is belangrijk en stelt duidelijk de parameters
vast en communiceert de verwachte relatie.
4. Random assignment
- Dit beschermt tegen systematische vooroordelen in toewijzing van de
deelnemers aan de experimentele omstandigheden en verhoogt de kans en
vergroot de kans dat verschillen tussen de groepen uitsluitend voortkomen uit
de behandeling waaraan ze zijn toegewezen.
Experimentele technieken worden ook wijd gebruikt in usability testing om te flaws te helpen
vinden in ontwerpen.
Voordelen van experimenteel onderzoek.
1. Interne validiteit → onderzoekers kunnen systematische fouten en
vooringenomenheden minimaliseren. Het stelt ze in staat sterke causale verbanden
vast te stellen.
2. Focus op causale relaties
3. Precieze controle van afhankelijke variabelen
4. Opbouwen van modellen en begrip van interacties
5. Systematische Test van Theoretische Propositions:
6. Repliceerbaarheid en generaliseerbaarheid
Limitaties
1. Externe validiteit
2. Ze willen vaak bewijzen dat hun systeem ‘just as good is’
- effect sizes, confidence intervals, power analysis
3. Hypotheses nooit echt ‘bewezen’
, Hoe opzetten?
Hypithesze
Een statement opstellen die te maken heeft met een voorspelling over een relatie tussen
twee variabelen. Een goede hypothese heeft een aantal karakteristieken:
- Precise → clearly state the conditions and predicted relationship
- Meaningful → leading the development of new research, poinitn to new theoreis
- Testable → be able to manipulate the levels of one variable and accurately measure
the outcome
- Falsifiable → You must be able to disprove the statement with empirical data.
hypothesis testen
1. De null hypothese constateert dat er geen verschil is tussen experimentele
voorwaarden
2. De tweede stap is het bepalen van een significantieniveau. Dit is een vooraf
bepaalde waarde die een tolerantie definieert voor het verwerpen vn de
nulhypothese wanneer deze daadwerkelijk waar is.
3. Data verzamelen
- De p-waarde geeft aan wat de kans is om de waargenomen gegevens, of
meer extreme gegevens, te verkrijgen als de nulhypothese waar zou zijn.
4. De laatste stap vergelijkt de waargenomen p-waarde met het eerder genoemde
significantieniveau. Als p < α, dan verwerp je de nulhypothese.
Vier typen variabelen
Independent Variable
De onafhankelijke variabele (IV) wordt gemanipuleerd door de onderzoeker, en de
verschillende omstandigheden ervan zijn de belangrijkste factor die wordt onderzocht. Het
wordt vaak aangeduid als X en wordt verondersteld de oorzaak te zijn van veranderingen die
optreden in de afhankelijke variabele, of Y.
Factors taken into account:
- well-controlled variation
- de vaardigheid om een duidelijke operationele definitie te geven en te bevestigen dat
je IV het beoogde effect heeft op een deelnemer. Een manipulation check, om te
verzekeren dat de manipulatie de gewilde invloed had op participanten,
- Het bereik.
dependent variable
De afhankelijke variabele (DV), vaak aangeduid als Y, is de uitkomstmaat waarvan wordt
voorspeld dat deze varieert op basis van de niveaus van de IV.
stappen om de betrouwbaarheid van een variabele te vergtoren
- Geef duidelijk de regels aan voor het kwantificeren van je meting.
- Geef duidelijk de scope en grenzen aan van wat je gaat meten.
Control variable
Een potentiele IV die constant wordt gehouden.
