E-THIEK 2018/2019
Voorgeschreven literatuur:
- Henry Prakken, Komt de robotrechter eraan?
- Henry Prakken, Legal reasoning: computational models.
- Henry Prakken, On how AI & Law can help autonomous systems obey
the law: a position paper.
- L. Karl Branting, Data-centric and logic-based models for automated
legal problem solving.
Komt de robotrechter er aan?
, Henry Prakken
Recent is er steeds meer discussie over hoe de artifciile intelligentie (AI) het werk van juristen kan
veranderen. Vooral algoritmes die uitkomsten in rechtszaken voorspellen hebben de aandacht
getrokken. Velen concluderen uit het bestaan van zulke voorspelalgoritmes dat ook het
automatisch beslissen van rechtszaken dichterbij is gekomen.
Henry Prakken betoogt in dit artikel dat deze conclusie berust op een verkeerd begrip van
voorspelalgoritmes en op een veronachtzaming van het verschil tussen het voorspellen en het
nemen van juridische beslissingen. Voor het automatiseren van juridische beslissingen is een heel
ander soort AI-systeem nodig dan voorspelalgoritmes, namelijk systemen die juridische kennis
kunnen toepassen en daarmee beslissingen kunnen motiveren. In dit artikel geeft hij een kort
overzicht van lopend onderzoek naar dit soort AI-systemen en bespreekt hij in hoeverre ze nu of in
de nabije toekomst praktisch bruikbaar zijn.
Nut van AI voor juristen
De recente vooruitgang in de AI heeft een aantal redenen: de toegenomen rekenkracht van
computers, vooruitgang in machinaal leren en taaltechnologie en de aldoor groeiende digitale
beschikbaarheid van data en informatie. De verwachting dat AI juridisch werk zal veranderen is
daarom terecht. Juridisch werk is voor een groot deel informatieverwerking (rechtspraak,
wetsteksten, zaaksdossiers, contracten etc.), dus zoeken naar taaltechnologie heeft overduidelijk
nut. Ook is de computer tegenwoordig sterk in het herkennen van patronen in grote hoeveelheden
data en dat kan voor zowel de rechtspraktijk als de rechtswetenschap nuttige informatie opleveren.
Het kan bijv. helpen om externe invloeden op juridische beslissingen te ontdekken (rechters vlak
voor de lunch strenger dus het kan helpen om rechtszittingen verstandig te plannen). Er zijn ook
algoritmes die de kans op een bepaalde uitkomst in een zaak schatten, wat nuttig kan zijn voor een
advocaat of cliint die zich afvraagt of procederen zin heeft. Ook voor rechters kan data-analyse
nuttig zijn, bijv. om te weten tot welke schadevergoeding of straf andere rechters in soortgelijke
gevallen gekomen zijn.
De hype: verwarring van voorspellen met beslissen
Hoewel de verwachtingen dus deels terecht zijn, is er het misverstand in de hand werkt dat ook de
robotrechter er aan komt.
Het EVRM-algoritme
Jensma noemt het voorspelalgoritme voor uitspraken van het EHRM een expertsysteem, maar een
expertsysteem is een AI-systeem dat kennis van een bepaald gebied heeft en die kennis al
redenerend op de feiten van een geval kan toepassen, om zo tot een gemotiveerd advies voor een
beslissing te komen. Het systeem waar Jensma op doelt is slechts een statistisch voorspelsysteem
en maakt geen juridisch of morele afweging. Het algoritme kan de uitspraken van rechters die het
analyseert zelfs niet begrijpen: alles wat het doet is het tellen van woorden in uitspraken van
rechters en de resultaten daarvan statistisch relateren aan de uitkomsten van andere zaken waarin
die woorden voorkwamen. Bovendien voorspelt het strikt genomen geen nieuwe uitspraken, want
het heeft een substantieel deel van de tekst van de nieuwe uitspraak nodig om de uitkomst te
kunnen voorspellen.
Daarnaast kan het algoritme een voorspelling niet uitleggen (en dus niet motiveren). Dit laat nog
een probleem van voorspelalgoritmes zien, namelijk dat ze alleen kansen produceren. Daar heeft
een rechter in een concrete zaak niets aan. Een andere vraag is hoe goed een succespercentage
van 79% is. Dat valt nogal tegen. Om te beginnen moet het algoritme van de te voorspellen
beslissing al weten dat daarin beslist wordt over schending van een artikel en het kan alleen
antwoorden: ‘ja, dit artikel is geschonden’ of ‘nee, niet geschonden’. Het kan dus niet de vraag
beantwoorden: ‘zal het Hof beslissen dat het EVRM geschonden is en zo ja welk artikel?’ Verder
beantwoordt het algoritme een ja/nee-vraag (dus 50/50 kans). Dan is 79% wel meer maar toch niet
dramatisch veel meer. En bij een ja/nee-beslissing kan het algoritme een zaak ook niet inhoudelijk
beoordelen (het is gebaseerd op ingevoerde trends in beslissingen van het Hof). Een motivering bij
het Amerikaanse Hooggerechtshof van dit algoritme zou bijv. luiden: ‘De meesten van ons zijn
republikein, 60+ en nogal conservatief in dit soort kwesties, en daarom draaien wij deze uitspraak
van de lagere rechter terug.’ Dat is natuurlijk geen juridisch deugdelijke motivering.
Voorspellen is iets anders dan beslissen
Prakken trekt twee conclusies: de voorspelalgoritmes doen het nog niet zo goed als velen denken
en ze zijn principieel ongeschikt als model voor juridisch beslissen en motiveren:
- of ze hebben een fink deel van de te voorspellen beslissing nodig voor hun voorspelling (en
kunnen daar geen juridische relevante gronden in herkennen)
- of ze baseren hun voorspelling op externe factoren in plaats van op de inhoudelijke merites
van een zaak.
Voorgeschreven literatuur:
- Henry Prakken, Komt de robotrechter eraan?
- Henry Prakken, Legal reasoning: computational models.
- Henry Prakken, On how AI & Law can help autonomous systems obey
the law: a position paper.
- L. Karl Branting, Data-centric and logic-based models for automated
legal problem solving.
Komt de robotrechter er aan?
, Henry Prakken
Recent is er steeds meer discussie over hoe de artifciile intelligentie (AI) het werk van juristen kan
veranderen. Vooral algoritmes die uitkomsten in rechtszaken voorspellen hebben de aandacht
getrokken. Velen concluderen uit het bestaan van zulke voorspelalgoritmes dat ook het
automatisch beslissen van rechtszaken dichterbij is gekomen.
Henry Prakken betoogt in dit artikel dat deze conclusie berust op een verkeerd begrip van
voorspelalgoritmes en op een veronachtzaming van het verschil tussen het voorspellen en het
nemen van juridische beslissingen. Voor het automatiseren van juridische beslissingen is een heel
ander soort AI-systeem nodig dan voorspelalgoritmes, namelijk systemen die juridische kennis
kunnen toepassen en daarmee beslissingen kunnen motiveren. In dit artikel geeft hij een kort
overzicht van lopend onderzoek naar dit soort AI-systemen en bespreekt hij in hoeverre ze nu of in
de nabije toekomst praktisch bruikbaar zijn.
Nut van AI voor juristen
De recente vooruitgang in de AI heeft een aantal redenen: de toegenomen rekenkracht van
computers, vooruitgang in machinaal leren en taaltechnologie en de aldoor groeiende digitale
beschikbaarheid van data en informatie. De verwachting dat AI juridisch werk zal veranderen is
daarom terecht. Juridisch werk is voor een groot deel informatieverwerking (rechtspraak,
wetsteksten, zaaksdossiers, contracten etc.), dus zoeken naar taaltechnologie heeft overduidelijk
nut. Ook is de computer tegenwoordig sterk in het herkennen van patronen in grote hoeveelheden
data en dat kan voor zowel de rechtspraktijk als de rechtswetenschap nuttige informatie opleveren.
Het kan bijv. helpen om externe invloeden op juridische beslissingen te ontdekken (rechters vlak
voor de lunch strenger dus het kan helpen om rechtszittingen verstandig te plannen). Er zijn ook
algoritmes die de kans op een bepaalde uitkomst in een zaak schatten, wat nuttig kan zijn voor een
advocaat of cliint die zich afvraagt of procederen zin heeft. Ook voor rechters kan data-analyse
nuttig zijn, bijv. om te weten tot welke schadevergoeding of straf andere rechters in soortgelijke
gevallen gekomen zijn.
De hype: verwarring van voorspellen met beslissen
Hoewel de verwachtingen dus deels terecht zijn, is er het misverstand in de hand werkt dat ook de
robotrechter er aan komt.
Het EVRM-algoritme
Jensma noemt het voorspelalgoritme voor uitspraken van het EHRM een expertsysteem, maar een
expertsysteem is een AI-systeem dat kennis van een bepaald gebied heeft en die kennis al
redenerend op de feiten van een geval kan toepassen, om zo tot een gemotiveerd advies voor een
beslissing te komen. Het systeem waar Jensma op doelt is slechts een statistisch voorspelsysteem
en maakt geen juridisch of morele afweging. Het algoritme kan de uitspraken van rechters die het
analyseert zelfs niet begrijpen: alles wat het doet is het tellen van woorden in uitspraken van
rechters en de resultaten daarvan statistisch relateren aan de uitkomsten van andere zaken waarin
die woorden voorkwamen. Bovendien voorspelt het strikt genomen geen nieuwe uitspraken, want
het heeft een substantieel deel van de tekst van de nieuwe uitspraak nodig om de uitkomst te
kunnen voorspellen.
Daarnaast kan het algoritme een voorspelling niet uitleggen (en dus niet motiveren). Dit laat nog
een probleem van voorspelalgoritmes zien, namelijk dat ze alleen kansen produceren. Daar heeft
een rechter in een concrete zaak niets aan. Een andere vraag is hoe goed een succespercentage
van 79% is. Dat valt nogal tegen. Om te beginnen moet het algoritme van de te voorspellen
beslissing al weten dat daarin beslist wordt over schending van een artikel en het kan alleen
antwoorden: ‘ja, dit artikel is geschonden’ of ‘nee, niet geschonden’. Het kan dus niet de vraag
beantwoorden: ‘zal het Hof beslissen dat het EVRM geschonden is en zo ja welk artikel?’ Verder
beantwoordt het algoritme een ja/nee-vraag (dus 50/50 kans). Dan is 79% wel meer maar toch niet
dramatisch veel meer. En bij een ja/nee-beslissing kan het algoritme een zaak ook niet inhoudelijk
beoordelen (het is gebaseerd op ingevoerde trends in beslissingen van het Hof). Een motivering bij
het Amerikaanse Hooggerechtshof van dit algoritme zou bijv. luiden: ‘De meesten van ons zijn
republikein, 60+ en nogal conservatief in dit soort kwesties, en daarom draaien wij deze uitspraak
van de lagere rechter terug.’ Dat is natuurlijk geen juridisch deugdelijke motivering.
Voorspellen is iets anders dan beslissen
Prakken trekt twee conclusies: de voorspelalgoritmes doen het nog niet zo goed als velen denken
en ze zijn principieel ongeschikt als model voor juridisch beslissen en motiveren:
- of ze hebben een fink deel van de te voorspellen beslissing nodig voor hun voorspelling (en
kunnen daar geen juridische relevante gronden in herkennen)
- of ze baseren hun voorspelling op externe factoren in plaats van op de inhoudelijke merites
van een zaak.
