Ethische inzet van AI: verantwoorde inzet van algoritmen binnen je gemeente
Sessie op ECP jaarfestival 2021
Sprekers:
- Mieke van Heesewijk, Adjunct directeur, SIDN fonds
- Jan Anton Buis, Privacy Officer Gemeente Nissewaard
- Jok Tang, Senior Project Manager TNO
- Joris Krijger, Ethiek & AI Specialist bij De Volksbank en Erasmus Universiteit
Wie spreekt hier? Staat niet tussen
- Beeldherkenning in 24% case, ook omLiDAR
- 22% Machine Learning e.g. forecasting
- Spraakherkenning in diensverlening e.g. chatbots
Nieuwe type casussen:
- Kennis en archivering
- Democratische processen
Small Business Innovation Research in twee fasen: Haalbaarheids studie, Prototype.
Voici: automatisch verwerken grote hoeveelheden video materiaal waarbij AI wijst op frames waar mogelijk illegale activiteiten op staan.
Oddity: proactief ipv reactief, waarschuwt voor afwijkende situaties in openbare ruimte
Publieke waarden centraal Toolbox Ethisch Verantwoorde Innovatie - Digitale Overheid.
ELSA labs
Use cases POK: innovatie in dienstverlening.
Vraag: Waar komt ethiek in beeld?
- Al bij data verzameling
- Ontwikkeling AI model zelf; ga je voor false positives or false negatives?
- Inbedding in organisatie
Jok Tang & Jan Anton Buis: Verantwoord AI bij gemeentes
Veel media-aandacht voor slimme AI maar ook vooral zorgen daarom.
AI-oversight lab, NL AI Coalitie, TNO is partner met het appl.ai lab.
Focus op use cases vanuit de markt die dan worden uitgelicht.
- Lab 1: Regelgeving
- Lab 2: Best practices: hoe betrek je inzichten in verdere ontwikkeling
- Lab 3: Technische tools: hoe implementeer je non-discriminatie en uitlegbaarheid?
Nissewaard-casus:
- Tech. inhooudelijke evaluatie van AI-algoritme van Totta Data Lab: opsporing fraude participatiewet
- Risico analyse participatiewet
- Hoogwaardig handhaven, min szw: controleer op maat
- Bijv. door risk-based toezicht. Inspecteer de dossiers met hoogste risico
Vanuit AVG:
- Rechtmatig, ...
- Doelbingin, minimale verwerking, juistheid
- etc...
Je moet een DPIA uitvoeren
- Process
- Is er noodzaak voor wat we doen?
- Verhouden belangen van ons tot uitkeringsgerechten?
- Welke risico's zijn er voor
- En welke kans is er dat die optreden
Resultaten op: de avg in nissewaard punt nl
Werkwijze
Van richtlijnen naar vragenlijst.
- Vergelijking van ethisch kader van Ministerie JenV, Europese Commissie
- Samengevoegd tot één vragenlijst
- Interviews gedaan
Positieve bevindingen:
- AI is ondersteunend voor sociaal rechercheurs, maar verantwoordelijkheid blijft bij rechercheurs
- Algoritmische suggesties zijn maar 10-15% van de input
- Voordeel inzet: voorkomen van onnodige controle bij burgers
Wat kan beter?
- Auditeerbaarheid is niet op orde
- Resultaten niet reproduceerbaar; kwaliteit testcode en documentatie code niet op orde
Joris Krijger bij Volksbank
Hoe kunnen we theorie en praktijk koppelen. Hoe brengen we ethiek bij het bureau van de data scientists en operationaliseren?
- Principes
- Nog niet zo spannend, wie heeft ze onderhand niet?
- Inmiddels 220 frameworks ethical AI.
- Impact analyse
- Welke bestaande processen draaien we en wat is de impact?
- Testen
- Uitproberen ethische benaderingen
- Bijv. welke vorm van fairness? Er is één principe, maar als je wilt implementeren zijn er 21 definities...
- Dit kan de data scientist niet alleen
- Governance
- Oplossing: bredere inbedding van ethische overwegingen in organisatie ipv alles bij developer neerlegen
- Ethische Office / Ethisch Board
- Proactief monitoren in verschillende fasen van lifecycle
-
...
-
Context van inzet systeem
- Proportionaliteit van frameworks: pak de meest relevantie
- Inbedding: kunnen we alles motiveren, zijn we consistent
Vraag: niet verstaand
Hoe definieer je een algoritme? Data en model? Of ook de uitkomst, hoe de uitkomst gebruikt wordt? Welke checks en balances al in place zijn? Hoe weeg je verschillende waarden af? Voor ethische evaluatie moet je het bredcer
Verstaan: In hoeverre is de klant betrokken?
Kennis bij klanten is niet voldoende om processen te begripjen. Als je steeds krijgt: waarom gebruiken jullie dat uberhaupt? en je zegt dan steed: ja maar dit process dat process d.w.z. je begrijpt het gewoon niet, dan is het moeilijk de legitimiteit van de klant's zorgen recht te doen. Dus in het werk bij De Volksbank doen ze dat niet teveel.
Kan je als gemeente volledig verantwoordelijkheid nemen van AI software? Je moet risico's ondervangen, maar kan niet volledig. KoZo: risico-analyse. Jok: en bovendien kan de gemeente dat uberhaupt niet in z'n eentje, dit is iets wat we samen moeten doen.