VERNIEUWDE SAMENVATTING
WEEK 1 – INTRODUCTIE
Les van Jeroen van Raak
We begonnen de les met hallucinaties:
Hallucinaties zijn fouten of verzonnen informatie die AI presenteert als feiten en waarheden.
Fouten en hallucinaties komen deels door de datasets waarop AI-modellen zijn getraind.
Zelfs als de trainingsdata volledig foutloos zouden zijn, zouden er nog steeds fouten optreden.
Dit komt door de huidige aanpak van generatieve AI, die fundamenteel gebrekkig zou zijn.
Onduidelijke prompts: Vage prompts kunnen outputs genereren die niet aansluiten bij de
verwachtingen van de gebruiker.
Gebrek aan domeinspecifieke training: Modellen zijn mogelijk minder nauwkeurig in zeer niche- of
gespecialiseerde gebieden.
Langere antwoorden: Hoe langer de output, hoe groter de kans dat het model afwijkt van juiste of
relevante informatie.
Complexe vragen: Fouten kunnen optreden wanneer een vraag meerdere stappen bevat of diepgaand
redeneren vereist.
Bevooroordeelde of onnauwkeurige trainingsdata: De output van het model is slechts zo goed als de
data waarop het is getraind.
Iteratief prompten: Kan het model “op een verkeerd spoor” zetten.
Modeltraining en evaluatie: Tijdens training wordt ‘gokken’ als het ware beloond.
Er is onderzoek gedaan naar waarom taalmodellen hallucineren:
Net als studenten die moeilijke tentamenvragen maken, raden grote taalmodellen soms wanneer ze
onzeker zijn, en produceren ze aannemelijke maar onjuiste uitspraken in plaats van onzekerheid toe te
geven. Dergelijke “hallucinaties” blijven bestaan, zelfs in de meest geavanceerde systemen, en
ondermijnen het vertrouwen. Wij stellen dat taalmodellen hallucineren omdat de trainings- en
evaluatieprocedures gokken belonen in plaats van het erkennen van onzekerheid, en we analyseren de
statistische oorzaken van hallucinaties in moderne modellen.
Voordat je begint met het werken met data, moet je een plan maken.
In deze colleges behandelen we de volgende stappen:
• Inzicht krijgen in de entiteit
• Risico-inschatting
• Risicoreactie
Doelstellingen, aanpak en tools voor data-analyse
Integratie in het controleplan
• Bepalen van de datavereisten
Generatieve artificiële intelligentie (generative AI, GenAI of GAI) is kunstmatige intelligentie die tekst,
afbeeldingen of andere data kan genereren met behulp van generatieve modellen.
Generatieve AI-modellen leren patronen en structuren uit hun trainingsdata en genereren vervolgens
nieuwe data met vergelijkbare kenmerken:
• Inzicht in wat Generative AI is en wat het voor je kan betekenen.
• Hoe je prompts kunt schrijven om Generative AI te gebruiken.
• Hoe je Generative AI kunt toepassen voor auditdoeleinden.
,VERNIEUWDE SAMENVATTING
Voordat je data kunt analyseren, moet je deze eerst uit systemen halen en voorbereiden. Dit wordt data
engineering genoemd.
Classificatie en model-evaluatie
Classificatiemethoden zoals k-Nearest Neighbors (kNN) en goede technieken voor model-evaluatie helpen
auditors om data-analyse te gebruiken voor het identificeren van afwijkingen, risicovolle transacties en
mogelijke fouten in de jaarrekening.
Het begrijpen van hoe je modellen evalueert, zorgt ervoor dat auditbeoordelingen op basis van data-
analyses betrouwbaar, transparant en in lijn met auditrisico’s zijn.
Steekproeven en hypothesetoetsing zijn fundamentele instrumenten die auditors in staat stellen om
betrouwbare conclusies te trekken over grote populaties op basis van beperkte informatie.
Het begrijpen van deze concepten helpt auditors om een balans te vinden tussen auditkwaliteit,
efficiëntie en risico, zodat conclusies verdedigbaar zijn en in lijn met professionele standaarden.
Beslisbomen en neurale netwerken stellen auditors in staat om complexe patronen in financiële en
operationele data te modelleren, ter ondersteuning van risicobeoordeling, fraudedetectie en het
identificeren van afwijkingen.
Inzicht in hoe deze modellen werken, en wat hun sterke en zwakke punten zijn, helpt auditors om
geavanceerde data-analyses op een gecontroleerde, uitlegbare en verdedigbare manier toe te passen.
Auditors worden steeds vaker geconfronteerd met grote hoeveelheden ongestructureerde tekst, zoals
contracten, e-mails, facturen, notulen van bestuursvergaderingen en regelgevende rapportages.
Natural Language Processing (NLP)-technieken stellen auditors in staat om deze informatie systematisch
te analyseren, risico’s te identificeren en patronen te ontdekken die handmatig moeilijk te herkennen
zijn.
Large Language Models (LLM’s) veranderen in hoog tempo de manier waarop auditors documenten
analyseren, procedures automatiseren en inzichten genereren. Om deze tools verantwoord en effectief te
gebruiken, moeten auditors de onderliggende technologie begrijpen en weten hoe belangrijke
modelparameters de kwaliteit, risico’s en betrouwbaarheid van de output beïnvloeden.
Process mining is een techniek om de laag-niveau transactiedata uit ERP-systemen te analyseren en
daarmee de processen binnen een organisatie in kaart te brengen.
Waarom Data Science voor auditors?
• Steeds meer “big data”
o Grote hoeveelheden data (volume)
o Gestructureerde versus ongestructureerde data (variëteit)
o Snel toenemende data (snelheid)
o Interne versus externe data
• Toenemende verwachtingen richting auditors
o Auditkwaliteit
o Audit-efficiëntie
o Toenemend gebruik van data in de audit
• Het versterken van je vaardigheden
o Gebruik machine learning en AI in je voordeel
o Verbeter je analytisch denken en probleemoplossend vermogen
,VERNIEUWDE SAMENVATTING
o Werk in multidisciplinaire teams
o Kennis van Python wordt steeds vaker gevraagd
Wat is Data Science? “het omzetten van data in bruikbare inzichten”
Wisdom Hierarchy (wijsheidshiërarchie)
Hoe meer we data verrijken met betekenis en context, hoe meer kennis en inzichten we eruit halen,
zodat we betere, onderbouwde en data-gedreven beslissingen kunnen nemen.
Doel: een betere audit uitvoeren
Wat is Data Science?
Data Science gebruikt tools en technieken om data om te zetten in betekenisvolle bedrijfsinzichten.
Doel: data gebruiken om betere bedrijfsbeslissingen te nemen.
� Eerst: wat wil ik weten?
� Dan: data ophalen en schoonmaken
� Daarna: kijken wat erin zit
� Dan: model maken
� Checken of het klopt
� En uiteindelijk gebruiken in je audit
In het echte leven is het natuurlijk wel een beetje kut; hebt altijd rot data ‘data wrangling’.
, VERNIEUWDE SAMENVATTING
De Data Science Workflow (=dat ronde ding) is een algemene probleemoplossingsstrategie voor zowel
business units als onderzoeksafdelingen, en kan worden gezien als een adaptieve levenscyclus.
Dit staat ook bekend als het Cross-Industry Standard Process for Data Mining (CRISP-DM).
Kernuitdaging voor de controle van de jaarrekening
Bedrijfsperspectief:
• De financiële verslaggeving wordt opgesteld op basis van data die wordt gegenereerd in ERP-
systemen tijdens de verwerking van transacties.
• Transacties worden geautomatiseerd verwerkt door ERP-systemen, waardoor steeds grotere
hoeveelheden data ontstaan (big data).
Auditorperspectief:
• De auditor moet een oordeel geven over de vraag of de jaarrekening een “getrouw beeld” geeft.
• Audits zijn voornamelijk gebaseerd op traditionele en handmatige controlewerkzaamheden.
>> bedrijven gaan mee, daarom moet de accountant ook mee met deze ontwikkelingen
Hoe kijkt het beroep ernaar?
Data-analyse, wanneer gebruikt voor het verkrijgen van controle-informatie in een jaarrekeningcontrole,
is de wetenschap en kunst van het ontdekken en analyseren van patronen, afwijkingen en inconsistenties,
en het extraheren van andere nuttige informatie uit de data die ten grondslag ligt aan of verband houdt
met het controleobject. Dit gebeurt door middel van analyse, modellering en visualisatie, met als doel het
plannen of uitvoeren van de audit.
(AICPA, 2015, p. 92)
Voorbeelden
• Minder tijd besteden aan routinematige taken zoals het verzamelen van controle-informatie
• Meer focus op activiteiten zoals het onderzoeken van afwijkingen, oordeelsvorming en het
rapporteren van resultaten
Voorbeelden van toepassingen:
• Datavisualisatie
• Trendlijnanalyse
• Outlierdetectie (afwijkingen opsporen)
• Data mining
• Machine learning
• Process mining
• Text mining
• Simulatiemodellen
WEEK 1 – INTRODUCTIE
Les van Jeroen van Raak
We begonnen de les met hallucinaties:
Hallucinaties zijn fouten of verzonnen informatie die AI presenteert als feiten en waarheden.
Fouten en hallucinaties komen deels door de datasets waarop AI-modellen zijn getraind.
Zelfs als de trainingsdata volledig foutloos zouden zijn, zouden er nog steeds fouten optreden.
Dit komt door de huidige aanpak van generatieve AI, die fundamenteel gebrekkig zou zijn.
Onduidelijke prompts: Vage prompts kunnen outputs genereren die niet aansluiten bij de
verwachtingen van de gebruiker.
Gebrek aan domeinspecifieke training: Modellen zijn mogelijk minder nauwkeurig in zeer niche- of
gespecialiseerde gebieden.
Langere antwoorden: Hoe langer de output, hoe groter de kans dat het model afwijkt van juiste of
relevante informatie.
Complexe vragen: Fouten kunnen optreden wanneer een vraag meerdere stappen bevat of diepgaand
redeneren vereist.
Bevooroordeelde of onnauwkeurige trainingsdata: De output van het model is slechts zo goed als de
data waarop het is getraind.
Iteratief prompten: Kan het model “op een verkeerd spoor” zetten.
Modeltraining en evaluatie: Tijdens training wordt ‘gokken’ als het ware beloond.
Er is onderzoek gedaan naar waarom taalmodellen hallucineren:
Net als studenten die moeilijke tentamenvragen maken, raden grote taalmodellen soms wanneer ze
onzeker zijn, en produceren ze aannemelijke maar onjuiste uitspraken in plaats van onzekerheid toe te
geven. Dergelijke “hallucinaties” blijven bestaan, zelfs in de meest geavanceerde systemen, en
ondermijnen het vertrouwen. Wij stellen dat taalmodellen hallucineren omdat de trainings- en
evaluatieprocedures gokken belonen in plaats van het erkennen van onzekerheid, en we analyseren de
statistische oorzaken van hallucinaties in moderne modellen.
Voordat je begint met het werken met data, moet je een plan maken.
In deze colleges behandelen we de volgende stappen:
• Inzicht krijgen in de entiteit
• Risico-inschatting
• Risicoreactie
Doelstellingen, aanpak en tools voor data-analyse
Integratie in het controleplan
• Bepalen van de datavereisten
Generatieve artificiële intelligentie (generative AI, GenAI of GAI) is kunstmatige intelligentie die tekst,
afbeeldingen of andere data kan genereren met behulp van generatieve modellen.
Generatieve AI-modellen leren patronen en structuren uit hun trainingsdata en genereren vervolgens
nieuwe data met vergelijkbare kenmerken:
• Inzicht in wat Generative AI is en wat het voor je kan betekenen.
• Hoe je prompts kunt schrijven om Generative AI te gebruiken.
• Hoe je Generative AI kunt toepassen voor auditdoeleinden.
,VERNIEUWDE SAMENVATTING
Voordat je data kunt analyseren, moet je deze eerst uit systemen halen en voorbereiden. Dit wordt data
engineering genoemd.
Classificatie en model-evaluatie
Classificatiemethoden zoals k-Nearest Neighbors (kNN) en goede technieken voor model-evaluatie helpen
auditors om data-analyse te gebruiken voor het identificeren van afwijkingen, risicovolle transacties en
mogelijke fouten in de jaarrekening.
Het begrijpen van hoe je modellen evalueert, zorgt ervoor dat auditbeoordelingen op basis van data-
analyses betrouwbaar, transparant en in lijn met auditrisico’s zijn.
Steekproeven en hypothesetoetsing zijn fundamentele instrumenten die auditors in staat stellen om
betrouwbare conclusies te trekken over grote populaties op basis van beperkte informatie.
Het begrijpen van deze concepten helpt auditors om een balans te vinden tussen auditkwaliteit,
efficiëntie en risico, zodat conclusies verdedigbaar zijn en in lijn met professionele standaarden.
Beslisbomen en neurale netwerken stellen auditors in staat om complexe patronen in financiële en
operationele data te modelleren, ter ondersteuning van risicobeoordeling, fraudedetectie en het
identificeren van afwijkingen.
Inzicht in hoe deze modellen werken, en wat hun sterke en zwakke punten zijn, helpt auditors om
geavanceerde data-analyses op een gecontroleerde, uitlegbare en verdedigbare manier toe te passen.
Auditors worden steeds vaker geconfronteerd met grote hoeveelheden ongestructureerde tekst, zoals
contracten, e-mails, facturen, notulen van bestuursvergaderingen en regelgevende rapportages.
Natural Language Processing (NLP)-technieken stellen auditors in staat om deze informatie systematisch
te analyseren, risico’s te identificeren en patronen te ontdekken die handmatig moeilijk te herkennen
zijn.
Large Language Models (LLM’s) veranderen in hoog tempo de manier waarop auditors documenten
analyseren, procedures automatiseren en inzichten genereren. Om deze tools verantwoord en effectief te
gebruiken, moeten auditors de onderliggende technologie begrijpen en weten hoe belangrijke
modelparameters de kwaliteit, risico’s en betrouwbaarheid van de output beïnvloeden.
Process mining is een techniek om de laag-niveau transactiedata uit ERP-systemen te analyseren en
daarmee de processen binnen een organisatie in kaart te brengen.
Waarom Data Science voor auditors?
• Steeds meer “big data”
o Grote hoeveelheden data (volume)
o Gestructureerde versus ongestructureerde data (variëteit)
o Snel toenemende data (snelheid)
o Interne versus externe data
• Toenemende verwachtingen richting auditors
o Auditkwaliteit
o Audit-efficiëntie
o Toenemend gebruik van data in de audit
• Het versterken van je vaardigheden
o Gebruik machine learning en AI in je voordeel
o Verbeter je analytisch denken en probleemoplossend vermogen
,VERNIEUWDE SAMENVATTING
o Werk in multidisciplinaire teams
o Kennis van Python wordt steeds vaker gevraagd
Wat is Data Science? “het omzetten van data in bruikbare inzichten”
Wisdom Hierarchy (wijsheidshiërarchie)
Hoe meer we data verrijken met betekenis en context, hoe meer kennis en inzichten we eruit halen,
zodat we betere, onderbouwde en data-gedreven beslissingen kunnen nemen.
Doel: een betere audit uitvoeren
Wat is Data Science?
Data Science gebruikt tools en technieken om data om te zetten in betekenisvolle bedrijfsinzichten.
Doel: data gebruiken om betere bedrijfsbeslissingen te nemen.
� Eerst: wat wil ik weten?
� Dan: data ophalen en schoonmaken
� Daarna: kijken wat erin zit
� Dan: model maken
� Checken of het klopt
� En uiteindelijk gebruiken in je audit
In het echte leven is het natuurlijk wel een beetje kut; hebt altijd rot data ‘data wrangling’.
, VERNIEUWDE SAMENVATTING
De Data Science Workflow (=dat ronde ding) is een algemene probleemoplossingsstrategie voor zowel
business units als onderzoeksafdelingen, en kan worden gezien als een adaptieve levenscyclus.
Dit staat ook bekend als het Cross-Industry Standard Process for Data Mining (CRISP-DM).
Kernuitdaging voor de controle van de jaarrekening
Bedrijfsperspectief:
• De financiële verslaggeving wordt opgesteld op basis van data die wordt gegenereerd in ERP-
systemen tijdens de verwerking van transacties.
• Transacties worden geautomatiseerd verwerkt door ERP-systemen, waardoor steeds grotere
hoeveelheden data ontstaan (big data).
Auditorperspectief:
• De auditor moet een oordeel geven over de vraag of de jaarrekening een “getrouw beeld” geeft.
• Audits zijn voornamelijk gebaseerd op traditionele en handmatige controlewerkzaamheden.
>> bedrijven gaan mee, daarom moet de accountant ook mee met deze ontwikkelingen
Hoe kijkt het beroep ernaar?
Data-analyse, wanneer gebruikt voor het verkrijgen van controle-informatie in een jaarrekeningcontrole,
is de wetenschap en kunst van het ontdekken en analyseren van patronen, afwijkingen en inconsistenties,
en het extraheren van andere nuttige informatie uit de data die ten grondslag ligt aan of verband houdt
met het controleobject. Dit gebeurt door middel van analyse, modellering en visualisatie, met als doel het
plannen of uitvoeren van de audit.
(AICPA, 2015, p. 92)
Voorbeelden
• Minder tijd besteden aan routinematige taken zoals het verzamelen van controle-informatie
• Meer focus op activiteiten zoals het onderzoeken van afwijkingen, oordeelsvorming en het
rapporteren van resultaten
Voorbeelden van toepassingen:
• Datavisualisatie
• Trendlijnanalyse
• Outlierdetectie (afwijkingen opsporen)
• Data mining
• Machine learning
• Process mining
• Text mining
• Simulatiemodellen
