Gastcolleges course 10
Aantekeningen les week 1 statistiek
Je gaat heel veel verschillende vergelijkingen doen. Als je een groot aantal genen test dan
heb je altijd te maken met een multiple comparison problem (multiple testing problem).
Wanneer zijn twee groepen statistisch verschillend? Bij het school voorbeeld zijn de
gemiddelden van beide groepen hetzelfde (rond de 6). Als je dus alleen naar het gemiddeld
kijkt denk je dat de groepen gelijk zijn, maar als je je gevoel volgt zie je dat de groepen heel
verschillend zijn.
Groepen zijn verschillend als er een groot verschil is in het gemiddelde en als dit consistent
is. Mean is het gemiddelde. Mediaan is als je de getallen van laag naar hoog zet en de
gemiddelde pakt. Als je bij het gemiddelde twee getallen verandert dan verandert
gemiddelde heel snel, als je bij de mediaan twee gedaan verandert die je geen verschil. Dit
zegt dat hij dus niet afhankelijk is van uitschieters. In dit geval is de mediaan dus
betrouwbaarder (is niet altijd zo). Je gebruikt beiden als je data hebt, als je ziet dat de
mediaan en de mean heel verschillend zijn dan weet je dat je te maken hebt met uitschieters.
Mean is dus gevoelig voor uitschieters. Er is nog iets met het gemiddelde, het gemiddelde
getal hoeft niet voor te komen in je data. Geef nooit alleen het gemiddelde, geef hierbij altijd
de spreiding weer (de standaarddeviatie). Dit is een getal voor de spreiding rond het
gemiddelde. In dit geval heeft A bij het voorbeeld een hoge standaarddeviatie. SD=20 zegt
dat ze gemiddeld rond de 20 van het gemiddelde zitten. Hoe hoger de spreiding, hoe meer
variatie dus.
Dus twee groepen zijn verschillend als er een groot verschil is in het gemiddelde (e.g. mean)
en als dit consistent is (e.g. standaarddeviatie). Student T-test is hetzelfde als de T-test. Hij
combineert de twee dingen die belangrijk zijn voor een echt verschil in een T-waarde. De T-
waarde combineert het verschil in gemiddelde met de standaarddeviatie. Combineert central
tendency met dispersion. Als het verschil in het gemiddelde hoog is en de spreiding laag is
dan spreek je van een echt verschil. T is een groot getal als er een groot verschil is in het
gemiddelde is en de spreiding in het gemiddelde laag is.
Waarom doen we een T-test? Om jezelf af te vragen of wat je observeert in je monster
waar is voor de gehele populatie (dus om je bevindingen in de populatie te genereren). Je
meet dus een kleine groep mensen en je wil weten of dit waar is voor alle mensen.
Biologische hypothese. Studenten van life science doen minder aan lichaamsbeweging dan
studenten die economie studeren.
H0 = de nulhypothese, dat er geen verschil is (life science = economie).
H1 = de alternatieve hypothese, dat er een verschil is (het verschil van de biologische
hypothese) (life science < economie).
We willen graag de nulhypothese verwerpen, hierna kunnen we concluderen dat de
alternatieve hypothese klopt en dus onze biologische hypothese. Een hoge T waarde,
betekent bewijs tegen de nul hypothese. Wanneer is de T waarde hoog genoeg? Als hij hoog
genoeg is noemen we het statistisch significant.
Wat als het anders om is? Dat life science meer lichaamsbeweging hebben dan
economische studenten. Je hebt een bepaalde reden dan je het zo als de eerste keer wil
testen. Als je hier niks over had geweten had je wel getest op een gelijke lichaamsbeweging
(H0) en een verschillende lichaamsbeweging (H1).
Werkplan T test. Als eerst formuleer je de verschillende hypotheses. Daarna bereken je de
T-waarde. Daarna vergelijk je de T-waarde met de kritieke T-waarde (deze waarde is
geassocieerd met een bepaalde p-waarde). Als de kritieke T-waarde wordt overschreden
dan is hij statistisch significant.
,We hebben een fixed relationship tussen p en T. Als de T hoog is, dan is de p laag. P wordt
uitgedrukt tussen 0 en 1.
Voorbeeld over mannen en vrouwen met bloed. Uitkomst T=2,5 en p= 0,03. H0 = M=W,
H1 = M>W. T is hoger dan p, dus hij is statistisch significant. P<0,05, dit betekent dat er 5%
kans is dat er een fout is gemaakt (dus 95% waarheid). We kunnen ook de alfa level
gebruiken α=0,05.
Hoe hoger T, hoe later p. Hoe hoger de T, een significant effect. Hoe hoger T, hoe hoger de
kans dat de nulhypothese verworpen kan worden.
Directional hypothesis (deze heeft een richting). Je gebruikt hem als je veel weet over het
proces (als je dus iets verwacht omdat je er al iets van weet). Non-directional hypothesis,
deze gebruik je als nog helemaal niks over het onderwerp weet.
Je kan éénzijdig en tweezijdig toetsen. Bij tweezijdig moet hij er dus tussen zitten en bij
eenzijdig moet hij er alleen onder of boven zitten (je kijkt dus naar één kant). Bij eenzijdig
testen is er sprake van een directional hypothese, bij tweezijdig testen is er sprake van non-
directional hypothesis. Hier kunnen dingen misgaan. Je mag je hypothese nooit veranderen
na het zien van het resultaat (want dan kan die significantie dus veranderen).
Gepaarde data, dit is als je bepaalde dingen vaker meet (dus je meet op zaterdag en op
woensdag); ze behoren dus tot één persoon. Hierbij doe je een gepaarde T-test. Bij een
gepaarde T-test is elke rij een uniek persoon, bij een ongepaarde T-test is elke cel een uniek
persoon. T-Test terminology.
In Excel heb je 1= paired, 2= independent (gelijke varianten), 3= independent (ongelijke
varianten).
Testing gene expressie. Elk punt is de uitkomst van één statistische test. Als je heel veel
testen doet, wil je geen genen missen maar je wil er ook geen nemen die niet relevant zijn.
Dan komen we dus bij dat probleem waar de les mee begon.
Aantekeningen les week 2 statistiek
Groepen zijn interessant verschillend als het verschil tussen de twee groepen groot is en als
dit verschil consistent is. De T-test verbindt deze twee onderdelen. Als de T-waarde hoog is
dan geloven we dat het verschil daadwerkelijk bestaat. We willen bepaalde bevindingen in
de populatie generaliseren. De nul hypothese is de hypothese van geen verschil. De
alternatieve hypothese is iets waar we in geloven (bijvoorbeeld dat life science studenten
meer bewegen dan economische studenten). Als we de nul hypothese kunnen verwerpen
dan kunnen we de alternatieve hypothese aannemen. De T-waarde moet hoog zijn en de p-
waarde moet lager zij dan 0,05 (p<0,05). Als de p<0,05 is dan nemen we de alternatieve
hypothese aan. Een hoge T-waarde gaat altijd samen met een lage p-waarde.
, Je moet twee keuzes maken bij de T-test (zie college week 1)
Je kan een richting gevende hypothese hebben of een hypothese die geen richting geeft. Bij
een directional hypothese test je hem aan één kant. Bij een nondirectional hypothese test je
tweezijdig (omdat je nog geen richting in je hypothese hebt).
Tevens kan je een keus maken tussen een gepaarde T-test en een ongepaarde T-test. Bij
gepaarde data zijn alle data met elkaar verbonden (je meet het bij één persoon).
Testing gene expression. Hoe hoger het punt op de afbeelding komt, hoe lager de p-waarde
is. De vraag is welk gen een interessante relatie met de ziekte vertoont. Je stelt eerst dat
alles boven de lijn een interessant verschil is. Alleen omdat er zoveel genen getest zijn, geldt
deze regel niet meer.
Vals positieve fout, dit is als je zegt dat iets van elkaar verschilt, maar in het echt is dit niet
zo. Een vals negatieve fout is dat je zegt dat er geen verschil is, terwijl er wel een verschil is.
Als p=0,05 hebben we 5% kans dat er een vals positieve of een vals negatieve fout is. De p-
waarde moet dus zo laag mogelijk zijn. Er is geen echte reden waarom mensen voor 5%
kiezen. Sommige mensen kiezen bijvoorbeeld voor 1%. De p-waarde geeft aan wat de kans
is dat we een vergissing maken, daarom wil je hem laag hebben. De alfa criteria, dit is de 5%
regel. Als je lager dan de 5% gaat, dan voorkom je de vals positieven. Maar hoe lager je gaat
dan ben je meer geneigd om de vals negatieve fouten te maken. Om deze reden vinden
mensen de 5% (0,05) een goede regel.
We hebben een experiment gedaan en we vinden dat p=0,03. Er is als nog altijd een kans
dat er een vals positief resultaat is. Het beste is om het experiment nog eens te doen en als
je dan hetzelfde waarneemt p=0,01 (dus nul hypothese kan opnieuw verworpen worden).
Hoe vaker je een experiment doet, hoe betrouwbaarder het is en hoe minder kans op vals
positieven. Replicatie van je experiment maakt de kans op vals positieven zijn kleiner.
Als je je 1000 T-testen uitvoert en hier 5% van neemt, dan zijn er dus 50 vals positieven (dit
is veel). Als je het significantie level omlaag haalt, dan gaan je vals negatieven omhoog. Dit
is dus het probleem als je veel dingen tegelijk test, dan weten we niet meer precies waar we
onze p-waarde moeten zetten; het multiple comparison problem. Wat kunnen we hier tegen
doen?
a) Het alfa level veranderen. Als eerste de Bonferroni correction; dit werkt niet voor onze
opdracht, maar wat je hierbij doet is dat als je 1000 testen doet dat je dan de 0,05/1000 doet.
Nu heb je de multiple comparrising problem gecontroleerd. Als je dat bij onze opdracht doet
dan wordt hij te laag en is de kans op vals negatieven te groot (wij hebben hier teveel testen
voor).
Je kan ook accepteren dat er vals positieven zijn. Dus dat je gewoon je testen doet en dan
aanneemt dat er veel vals positieven zijn, dit noem je False sidcovery rate.
Ook kan je randomiseren; wat zou de T-waarde zijn geweest, als de groepen willekeurig zijn
getrokken?
b) Het aantal vergelijkingen te verlagen. Dit doe je door middel van clustering. Je neemt data
punten die bij elkaar horen samen. Hierdoor verlaag je dus het aantal testen. Bijvoorbeeld
als je kijkt naar genen, dan kan je deze genen clusteren die op elkaar lijken (bijvoorbeeld qua
expressieniveau). Biologisch kan je hier fouten in maken omdat niet alle genen exact
hetzelfde zijn. Een nadeel is ook dat als je iets vindt, dat je het dan niet aan een bepaald gen
kan relateren omdat het in een cluster is getest.
c) Je kan er ook niks tegen doen en het experiment opnieuw doen.
Terug naar het probleem, waar zetten we de lijn? Exploratory science is als je nog niet veel
weet, hier heb je vaak te maken met het multiple comparison problem. Maar omdat je nog in
ontdekkingsfase bent is dat nog niet zo erg (je controleert hier de multiple comparision
problem, je accepteert hier de vals positieven). Bij de confirmatory science neem je alleen de
candidate genes. Nu heb je er minder en heb je minder te maken met de multiple
comparison problem (je zoomt eigenlijk in). Je wil hier ook niet meer te maken hebben met
de vals positieven.
Aantekeningen les week 1 statistiek
Je gaat heel veel verschillende vergelijkingen doen. Als je een groot aantal genen test dan
heb je altijd te maken met een multiple comparison problem (multiple testing problem).
Wanneer zijn twee groepen statistisch verschillend? Bij het school voorbeeld zijn de
gemiddelden van beide groepen hetzelfde (rond de 6). Als je dus alleen naar het gemiddeld
kijkt denk je dat de groepen gelijk zijn, maar als je je gevoel volgt zie je dat de groepen heel
verschillend zijn.
Groepen zijn verschillend als er een groot verschil is in het gemiddelde en als dit consistent
is. Mean is het gemiddelde. Mediaan is als je de getallen van laag naar hoog zet en de
gemiddelde pakt. Als je bij het gemiddelde twee getallen verandert dan verandert
gemiddelde heel snel, als je bij de mediaan twee gedaan verandert die je geen verschil. Dit
zegt dat hij dus niet afhankelijk is van uitschieters. In dit geval is de mediaan dus
betrouwbaarder (is niet altijd zo). Je gebruikt beiden als je data hebt, als je ziet dat de
mediaan en de mean heel verschillend zijn dan weet je dat je te maken hebt met uitschieters.
Mean is dus gevoelig voor uitschieters. Er is nog iets met het gemiddelde, het gemiddelde
getal hoeft niet voor te komen in je data. Geef nooit alleen het gemiddelde, geef hierbij altijd
de spreiding weer (de standaarddeviatie). Dit is een getal voor de spreiding rond het
gemiddelde. In dit geval heeft A bij het voorbeeld een hoge standaarddeviatie. SD=20 zegt
dat ze gemiddeld rond de 20 van het gemiddelde zitten. Hoe hoger de spreiding, hoe meer
variatie dus.
Dus twee groepen zijn verschillend als er een groot verschil is in het gemiddelde (e.g. mean)
en als dit consistent is (e.g. standaarddeviatie). Student T-test is hetzelfde als de T-test. Hij
combineert de twee dingen die belangrijk zijn voor een echt verschil in een T-waarde. De T-
waarde combineert het verschil in gemiddelde met de standaarddeviatie. Combineert central
tendency met dispersion. Als het verschil in het gemiddelde hoog is en de spreiding laag is
dan spreek je van een echt verschil. T is een groot getal als er een groot verschil is in het
gemiddelde is en de spreiding in het gemiddelde laag is.
Waarom doen we een T-test? Om jezelf af te vragen of wat je observeert in je monster
waar is voor de gehele populatie (dus om je bevindingen in de populatie te genereren). Je
meet dus een kleine groep mensen en je wil weten of dit waar is voor alle mensen.
Biologische hypothese. Studenten van life science doen minder aan lichaamsbeweging dan
studenten die economie studeren.
H0 = de nulhypothese, dat er geen verschil is (life science = economie).
H1 = de alternatieve hypothese, dat er een verschil is (het verschil van de biologische
hypothese) (life science < economie).
We willen graag de nulhypothese verwerpen, hierna kunnen we concluderen dat de
alternatieve hypothese klopt en dus onze biologische hypothese. Een hoge T waarde,
betekent bewijs tegen de nul hypothese. Wanneer is de T waarde hoog genoeg? Als hij hoog
genoeg is noemen we het statistisch significant.
Wat als het anders om is? Dat life science meer lichaamsbeweging hebben dan
economische studenten. Je hebt een bepaalde reden dan je het zo als de eerste keer wil
testen. Als je hier niks over had geweten had je wel getest op een gelijke lichaamsbeweging
(H0) en een verschillende lichaamsbeweging (H1).
Werkplan T test. Als eerst formuleer je de verschillende hypotheses. Daarna bereken je de
T-waarde. Daarna vergelijk je de T-waarde met de kritieke T-waarde (deze waarde is
geassocieerd met een bepaalde p-waarde). Als de kritieke T-waarde wordt overschreden
dan is hij statistisch significant.
,We hebben een fixed relationship tussen p en T. Als de T hoog is, dan is de p laag. P wordt
uitgedrukt tussen 0 en 1.
Voorbeeld over mannen en vrouwen met bloed. Uitkomst T=2,5 en p= 0,03. H0 = M=W,
H1 = M>W. T is hoger dan p, dus hij is statistisch significant. P<0,05, dit betekent dat er 5%
kans is dat er een fout is gemaakt (dus 95% waarheid). We kunnen ook de alfa level
gebruiken α=0,05.
Hoe hoger T, hoe later p. Hoe hoger de T, een significant effect. Hoe hoger T, hoe hoger de
kans dat de nulhypothese verworpen kan worden.
Directional hypothesis (deze heeft een richting). Je gebruikt hem als je veel weet over het
proces (als je dus iets verwacht omdat je er al iets van weet). Non-directional hypothesis,
deze gebruik je als nog helemaal niks over het onderwerp weet.
Je kan éénzijdig en tweezijdig toetsen. Bij tweezijdig moet hij er dus tussen zitten en bij
eenzijdig moet hij er alleen onder of boven zitten (je kijkt dus naar één kant). Bij eenzijdig
testen is er sprake van een directional hypothese, bij tweezijdig testen is er sprake van non-
directional hypothesis. Hier kunnen dingen misgaan. Je mag je hypothese nooit veranderen
na het zien van het resultaat (want dan kan die significantie dus veranderen).
Gepaarde data, dit is als je bepaalde dingen vaker meet (dus je meet op zaterdag en op
woensdag); ze behoren dus tot één persoon. Hierbij doe je een gepaarde T-test. Bij een
gepaarde T-test is elke rij een uniek persoon, bij een ongepaarde T-test is elke cel een uniek
persoon. T-Test terminology.
In Excel heb je 1= paired, 2= independent (gelijke varianten), 3= independent (ongelijke
varianten).
Testing gene expressie. Elk punt is de uitkomst van één statistische test. Als je heel veel
testen doet, wil je geen genen missen maar je wil er ook geen nemen die niet relevant zijn.
Dan komen we dus bij dat probleem waar de les mee begon.
Aantekeningen les week 2 statistiek
Groepen zijn interessant verschillend als het verschil tussen de twee groepen groot is en als
dit verschil consistent is. De T-test verbindt deze twee onderdelen. Als de T-waarde hoog is
dan geloven we dat het verschil daadwerkelijk bestaat. We willen bepaalde bevindingen in
de populatie generaliseren. De nul hypothese is de hypothese van geen verschil. De
alternatieve hypothese is iets waar we in geloven (bijvoorbeeld dat life science studenten
meer bewegen dan economische studenten). Als we de nul hypothese kunnen verwerpen
dan kunnen we de alternatieve hypothese aannemen. De T-waarde moet hoog zijn en de p-
waarde moet lager zij dan 0,05 (p<0,05). Als de p<0,05 is dan nemen we de alternatieve
hypothese aan. Een hoge T-waarde gaat altijd samen met een lage p-waarde.
, Je moet twee keuzes maken bij de T-test (zie college week 1)
Je kan een richting gevende hypothese hebben of een hypothese die geen richting geeft. Bij
een directional hypothese test je hem aan één kant. Bij een nondirectional hypothese test je
tweezijdig (omdat je nog geen richting in je hypothese hebt).
Tevens kan je een keus maken tussen een gepaarde T-test en een ongepaarde T-test. Bij
gepaarde data zijn alle data met elkaar verbonden (je meet het bij één persoon).
Testing gene expression. Hoe hoger het punt op de afbeelding komt, hoe lager de p-waarde
is. De vraag is welk gen een interessante relatie met de ziekte vertoont. Je stelt eerst dat
alles boven de lijn een interessant verschil is. Alleen omdat er zoveel genen getest zijn, geldt
deze regel niet meer.
Vals positieve fout, dit is als je zegt dat iets van elkaar verschilt, maar in het echt is dit niet
zo. Een vals negatieve fout is dat je zegt dat er geen verschil is, terwijl er wel een verschil is.
Als p=0,05 hebben we 5% kans dat er een vals positieve of een vals negatieve fout is. De p-
waarde moet dus zo laag mogelijk zijn. Er is geen echte reden waarom mensen voor 5%
kiezen. Sommige mensen kiezen bijvoorbeeld voor 1%. De p-waarde geeft aan wat de kans
is dat we een vergissing maken, daarom wil je hem laag hebben. De alfa criteria, dit is de 5%
regel. Als je lager dan de 5% gaat, dan voorkom je de vals positieven. Maar hoe lager je gaat
dan ben je meer geneigd om de vals negatieve fouten te maken. Om deze reden vinden
mensen de 5% (0,05) een goede regel.
We hebben een experiment gedaan en we vinden dat p=0,03. Er is als nog altijd een kans
dat er een vals positief resultaat is. Het beste is om het experiment nog eens te doen en als
je dan hetzelfde waarneemt p=0,01 (dus nul hypothese kan opnieuw verworpen worden).
Hoe vaker je een experiment doet, hoe betrouwbaarder het is en hoe minder kans op vals
positieven. Replicatie van je experiment maakt de kans op vals positieven zijn kleiner.
Als je je 1000 T-testen uitvoert en hier 5% van neemt, dan zijn er dus 50 vals positieven (dit
is veel). Als je het significantie level omlaag haalt, dan gaan je vals negatieven omhoog. Dit
is dus het probleem als je veel dingen tegelijk test, dan weten we niet meer precies waar we
onze p-waarde moeten zetten; het multiple comparison problem. Wat kunnen we hier tegen
doen?
a) Het alfa level veranderen. Als eerste de Bonferroni correction; dit werkt niet voor onze
opdracht, maar wat je hierbij doet is dat als je 1000 testen doet dat je dan de 0,05/1000 doet.
Nu heb je de multiple comparrising problem gecontroleerd. Als je dat bij onze opdracht doet
dan wordt hij te laag en is de kans op vals negatieven te groot (wij hebben hier teveel testen
voor).
Je kan ook accepteren dat er vals positieven zijn. Dus dat je gewoon je testen doet en dan
aanneemt dat er veel vals positieven zijn, dit noem je False sidcovery rate.
Ook kan je randomiseren; wat zou de T-waarde zijn geweest, als de groepen willekeurig zijn
getrokken?
b) Het aantal vergelijkingen te verlagen. Dit doe je door middel van clustering. Je neemt data
punten die bij elkaar horen samen. Hierdoor verlaag je dus het aantal testen. Bijvoorbeeld
als je kijkt naar genen, dan kan je deze genen clusteren die op elkaar lijken (bijvoorbeeld qua
expressieniveau). Biologisch kan je hier fouten in maken omdat niet alle genen exact
hetzelfde zijn. Een nadeel is ook dat als je iets vindt, dat je het dan niet aan een bepaald gen
kan relateren omdat het in een cluster is getest.
c) Je kan er ook niks tegen doen en het experiment opnieuw doen.
Terug naar het probleem, waar zetten we de lijn? Exploratory science is als je nog niet veel
weet, hier heb je vaak te maken met het multiple comparison problem. Maar omdat je nog in
ontdekkingsfase bent is dat nog niet zo erg (je controleert hier de multiple comparision
problem, je accepteert hier de vals positieven). Bij de confirmatory science neem je alleen de
candidate genes. Nu heb je er minder en heb je minder te maken met de multiple
comparison problem (je zoomt eigenlijk in). Je wil hier ook niet meer te maken hebben met
de vals positieven.
