Samenvatting statistiek Wessa P.

Les 1: Stelling van Bayes

Waarschijnlijkheidsleer (48ste minuut)

Jeffrey’s definitie van probability/waarschijnlijkheid = de mate waarin we vertrouwen hebben in een
bepaalde uitspraak.

We moeten enkele assumpties voorop stellen:

• Een waarschijnlijkheid is altijd gelegen tussen 0 en 1
• De waarschijnlijkheid dat iets niet gebeurt is 1 – de kans dat het wel gebeurt

Doorsnede A B = A en B
→ Kans dat A en B zich voordoen

Unie A B = of A of B doet zich voor of de twee tegelijk
→ Kans dat A of B zich voordoet of de twee tegelijk




Voorwaarde: ze moeten elkaar uitsluiten.

Conditionele waarschijnlijkheden

Als het waar zijn van X geen invloed heeft op het waar zijn van C dan heeft dat de implicatie dat ze
onafhankelijk zijn .




P(C) = de kans dat het regent, zonder dat we voor de rest iets weten
X = de informatie die je hebt bv. het weerbericht heeft voorspelt dat het vandaag gaat regenen
→ Het weerbericht kan niets garanderen, dus de kans dat C zich voordoet op voorwaarde van X,
komt gewoon overeen met de kans op C

Linkerzijde is een conditionele waarschijnlijkheid = rechterzijde is een niet-conditionele
waarschijnlijkheid
→ X is hierbij nutteloos en heeft geen meerwaarde

Stel C is wel afhankelijk van informatie van X




➔ STELLING VAN BAYES




1

,Stelling van Bayes




De waarschijnlijkheid van A gegeven de kennis van B = een breuk en in die breuk staat de
waarschijnlijkheid van B gegeven de kennis van A x de waarschijnlijkheid van A/ de waarschijnlijkheid
van B

Regel van Bayes vertelt ons hoe we de conditionele waarschijnlijkheid van A met B als voorwaarde
kunnen omdraaien naar P(B/A)

• Belangrijk in onderzoek: je wilt aantonen dat A heel waarschijnlijk is
o A = slagen voor het examen statistiek
o B = de oefeningen gemaakt hebben uit het boek
o P(A/B) = wat is de kans dat je slaagt gegeven dat je de oefeningen gemaakt hebt
• Het omgekeerde P(B/A): je gaat kijken naar de geslaagden en dan kijken of ze hun
oefeningen hebben gemaakt
o Wie is niet geslaagd? En dan kijken of ze de oefeningen hebben gemaakt
o De rechterkant van het gelijkheidsteken is observeerbaar
• P(A) en P(B) zijn berekenbaar op basis van de data die je kan observeren
• Zo besluiten trekken over de kans dat je slaagt op voorwaarde dat je de oefeningen gemaakt
hebt (P(A/B), iets wat niet observeerbaar is)

GEVOLG:




Aan de linkerkant geconditioneerde waarschijnlijkheden waarbij H1 en H2 staan voor hypotheses.
Is H1 waarschijnlijker dan H2 of omgekeerd? Daarom neem je de verhouding, ofwel is H1 juist ofwel
is H2 juist.

Aan de rechterkant krijgen we de omgekeerde weg: de kans dat onze geobserveerde data kloppen op
basis van onze gestelde hypothese (H1 of H2) = likelihood ratio

We vermenigvuldigen die likelihood ratio met de ongeconditioneerde waarschijnlijkheden (kans op
H1/kans op H2) = prior odds (a priori informatie)



2

,Voorbeeld

We hebben 2 zakken, ze zijn allemaal even groot en er zitten gouden & zilveren munten in die
geschud zijn. Zak 1 krijgt de naam van H1 en zak 2 wordt H2. We gaan er een willekeurige munt
uittrekken en het is een gouden stuk. In zak 1 zitten 150 goudstukken en 50 zilverstukken en in de
andere zak zitten 100 goudstukken en 200 zilverstukken.

Wat is de kans dat het getrokken goudstuk uit de eerste zak komt?




• Likelihood ratio x a priori kennis




Het totaal is 13, de kans is dus 9/13 dat het goudstuk uit de eerste zak komt.

Sensitiviteit en specificiteit

We gaan niet altijd gelijk hebben in wat we voorspellen, we moeten er rekening mee houden dat we
soms fouten maken. We hebben weer twee hypotheses H1 en H2.

• Als we ervan uitgaan dat H1 waar is, dan verwerpen we H2
o Resultaat: True Positive (TP)
o Conclusie getrokken op basis van data die juist is
o In ons voorbeeld: we denken dat het een goudstuk gaat zijn uit zak 1, dus we
verwerpen het idee dat het uit zak 2 gaat komen
• Als we H2 verwerpen, maar H2 blijkt toch waar te zijn
o Dan werd er een fout gemaakt
o False Positive (FP)
o Type I fout
o In ons voorbeeld: we verwerpen dat het uit zak 2 komt, maar het blijkt er toch uit te
komen
• Als we H2 accepteren, en H2 is waar
o True Negative (TN)
• Als we H2 accepteren, maar H1 blijkt waar te zijn
o False Negative (FN)
o Type II fout




3

, Voor dat model kunnen we al de cellen gaan berekenen en dan kunnen we proberen om een
uitspraak te doen over de kwaliteit van het model.

Daarom worden de true negative rate en true positive rate berekent. Deze zijn verbonden aan de
begrippen specificiteit en sensitiviteit.

Voorbeeld

Covid19: ofwel heb je het ofwel niet (kolommen) en je gaat een test doen die positief of negatief kan
zijn (rijen). De sneltest leidt vaak tot veel false positives (je hebt het niet maar toch zegt de test van
wel). Waarom die testen dan gebruiken als het tot zoveel false positives leidt? Het moet snel gaan &
heb je liever veel false positives of veel false negatives? Liever false positives want dat is
voorzichtiger. False negatives zou erger zijn aangezien mensen dan denken dat ze niet ziek zijn, maar
in feite zijn ze het wel en kunnen ze anderen besmetten.

 Kwaliteit van model kan dus door Bayes getoetst worden

Het perfecte model

Dit model zou 100% specificiteit en 100% sensitiviteit hebben, maar dit is in werkelijkheid bijna
onmogelijk. Er is altijd een trade-off. Je moet altijd een keuze maken op welke je gaat inzetten. Kijken
naar degene die het minste kwaad doet.

Voorbeeld

Fraude-detectie systeem met 99% specificiteit en 99% sensitiviteit (wat enorm goed is). In het
verleden gebeurde 0,2% van de transacties met fraude. Wat is de waarschijnlijkheid dat een random
transactie die een melding geeft van frauduleus te zijn, ook werkelijk frauduleus is?




Getallen invullen en we komen uit op 16,6%. Dit is onverwacht, aangezien het model zo’n hoge
specificiteit en sensitiviteit heeft. Dit toont aan dat waarschijnlijkheden niet zo intuïtief zijn, het zijn
vaak moeilijk materies. Het is ook belangrijk daarbij theorema’s voorop te stellen.




4