AI Routekaart
- Hoofdonderscheid tussen advies op organisatieniveau en applicatieniveau
AI-Readiness Assessment op organisatieniveau: 13 vragen om vast te stellen hoe "AI-volwassen" uw organisatie is. Bij elk advies is een link met referentiemateriaal voor dialoog en praktijktoepassing
- Organisatie
- Proces adviezen
- Technologie adviezen
- Randvoorwaarden
- Tips
AI-Implementatie checklist op applicatieniveau: 18 inventariserende vragen bij de voorbereiden van de implementatie van een AI-applicatie/algoritme binnen uw organisatie. Geeft concrete adviezen over acht onderwerpen op basis van de antwoorden en op basis van de plaats van de applicatie in de "innovatiefunnel".
Acht punten, met wat dingen die er voor mij uitspringen.
- Algemeen
- AI-trust
- Zoek AI-kampioen
- Gebruik een transparant algoritme waarvan de resultaten herleidbaar zijn
- Projectteam
- Business Case
- Technische validatie
- Ontwikkel een standaard checklist voor interne validatie
- Uitrol
- Let er bij het voorbereiden van de pilot of de toepassing de beste oplossing is voor het probleem
- Volstaat een simpelere data-analyse niet?
- Is er een equivalente oplossing die minder data gebruikt?
- Verstrek uitleg aan de gebruikers
- Maak de meerwaarde duidelijk
- Organiseer training voor gebruikers
- Train in gebruik
- Maar ook in de achterliggende techniek
- Let er bij het voorbereiden van de pilot of de toepassing de beste oplossing is voor het probleem
- Beheer
- Punten over integratie in bestaand ICT plan
- Wet- en regelgeving
Uitlichting Transparantie:
- Welke stappen neemt het algoritme om tot een beslissing of predictie te komen?
- Waarom geeft het algoritme deze beslissing of predictie als uitkomst en niet één van de alternatieve uitkomsten?
- Wanneer is het algoritme succesvol? En wanneer heeft het gefaald?
- Hoe worden eventuele fouten hersteld door het algoritme?
- Wie heeft de validatie van het algoritme uitgevoerd en staat in voor de juistheid?
AI-Readiness Assessment
Overgenomen op Vrijdag 2021-03-19.
-
Heeft uw organisatie een AI-specifieke visie, missie of strategie geformuleerd?
-
Indien aanwezig, hoe wordt deze missie / visie / strategie gecommuniceerd in de organisatie?
-
Deze wordt actief gecommuniceerd binnen de organisatie, en (vrijwel) iedere werknemer is ervan op de hoogte
- Deze wordt in zekere mate gecommuniceerd binnen de organisatie, maar niet iedereen is ervan op de hoogte
- Deze wordt nauwelijks of niet gecommuniceerd binnen de organisatie, bijna niemand is ervan op de hoogte
- Niet van toepassing
-
Geen mening / weet niet
-
Wat is op dit moment de ambitie van de organisatie betreffende AI?
-
Het zelfstandig kunnen ontwikkelen van AI-toepassingen, zonder hulp van externe partijen
- Een bijdrage leveren aan het ontwikkelen van AI-toepassingen in samenwerkingsverbanden met andere ziekenhuizen of commerciële partijen
- Het implementeren van reeds ontwikkelde AI-toepassingen
-
Geen mening / weet niet
-
Welke van de vijf onderstaande beweringen beschrijft het beste de situatie inzake 'the tone at the top'(directie / RvB)?
-
Directie / RvB is volledig op de hoogte van AI, is zeer betrokken en stimuleert het gebruik en innovatie en vernieuwing
- Directie / RvB is op de hoogte van AI en ontwikkelingen en is betrokken bij het gebruik en de ontwikkeling
- Directie / RvB is op de hoogte van AI ontwikkelingen en is redelijk betrokken
- Directie / RvB is op de hoogte van AI ontwikkelingen, maar niet betrokken bij het gebruik of de ontwikkeling
- Directie / RvB (directie/RvB) is niet op de hoogte van en niet betrokken bij AI
-
Geen mening / weet niet
-
Welke van de vier onderstaande beweringen beschrijft het beste de situatie voor wat betreft de toepassing van AI in uw organisatie?
-
Er zijn (enkele) toepassingen van AI, en er is een organisatie breed programma om AI in te zetten om processen efficiënter en effectiever te maken
- Er zijn enkele toepassingen van AI, maar er is geen organisatie breed AI-programma
- AI wordt alleen in een pilot-setting ingezet
- AI wordt niet of nauwelijks ingezet
-
Geen mening / weet niet
-
Welke van de vijf onderstaande beweringen beschrijft het beste de situatie over het personeel van de AI organisatie als het gaat om het ontwikkelen van AI-applicaties?
-
Eigen personeel heeft alle benodigde ervaring en kennis in huis, geen afhankelijkheden van data scientists en deze worden vrijwel nooit ingehuurd
- Eigen personeel heeft voldoende kennis in huis, geen afhankelijkheden van data scientists als het gaat om het in de lucht houden van AI. Soms wordt nog wel de hulp van externe data scientists gevraagd, bijvoorbeeld bij complexe nieuwe ontwikkelingen
- Eigen personeel heeft voldoende kennis opgedaan, slechts beperkt afhankelijk van ingehuurde data scientists, ook bij het in de lucht houden van de bestaande AI-applicaties
- Taken zijn verdeeld, geen of weinig eigen personeel actief op het gebied van AI, kennis wordt vaak ingehuurd, sterke afhankelijkheid van ingehuurde data scientists voor de continuïteit van AI
- Geen personeel actief op het gebied van AI
-
Geen mening / weet niet
-
Is er beleid voor de interne validatie van algoritmes?
-
Ja, er is een protocol en er is ook formeel vastgelegd wie dit gaat uitvoeren
- Ja, er is een protocol, alleen er is nog niet formeel vastgelegd wie dit gaat uitvoeren
- Het protocol is in ontwikkeling
- Er is geen protocol, ook niet in ontwikkeling
-
Geen mening / weet niet
-
Is er een standaard aanpak beschikbaar voor het borgen van 'explainable AI' richting patiënten voor algoritmen?
Een voorbeeld van explainable AI is als er bijvoorbeeld een heatmap bij de resultaten wordt geleverd, waar het resultaat mee verklaard kan worden.
- Ja, er is een protocol
- Het protocol is in ontwikkeling
- Er is geen protocol, ook niet in ontwikkeling
-
Geen mening / weet niet
-
Welke van de vijf onderstaande beweringen beschrijft het beste de situatie over data (kwaliteit) management? Kies wat het meest van toepassing is op uw organisatie?
-
De kwaliteit van data wordt continu gemonitord, heeft zeer hoge prioriteit en er wordt optimaal op data kwesties gehandeld, verantwoordelijkheden omtrent datamanagement zijn goed vastgelegd en worden ook breed en goed uitgedragen binnen de organisatie
- De data kwaliteit wordt goed gemonitord, heeft een hoge prioriteit en de verantwoordelijkheden omtrent datamanagement zijn duidelijk vastgelegd
- De data kwaliteit wordt gemonitord, heeft prioriteit maar de verantwoordelijkheden omtrent datamanagement zijn niet duidelijk vastgelegd
- De data kwaliteit wordt beperkt gemonitord, heeft een lage prioriteit en de verantwoordelijkheden omtrent datamanagement zijn niet vastgelegd.
- De kwaliteit van data wordt niet gemonitord, heeft geen prioriteit en de verantwoordelijkheden omtrent datamanagement zijn niet vastgelegd
-
Geen mening / weet niet
-
Is er binnen de organisatie beleid m.b.t. een AI-platform?
Een AI-platform is een plek waar AI-toepassingen op geïmplementeerd worden, waardoor er een organisatie breed overzicht ontstaat van welke AI-toepassingen er beschikbaar zijn.
- De organisatie faciliteert actief een generiek AI-platform waarop toepassingen worden geïmplementeerd
- Er zijn punt-oplossingen beschikbaar, maar er is geen AI-platform
- Er is op dit punt geen strategie of beleid
-
Geen mening / weet niet
-
Is er in de organisatie een data repository beschikbaar waarin o.a. de data definities van de organisatie eenduidig zijn vastgelegd?
-
Ja, dit is beschikbaar
- Nee, dit is in ontwikkeling
- Nee
-
Geen mening / weet niet
-
Zo ja, zijn de data in dit datamodel ook centraal toegankelijk?
-
Ja, het gehele datamodel van de organisatie is ontsloten
- Gedeeltelijk, delen van de informatie worden centraal beheerd
- Gedeeltelijk, delen van de informatie worden decentraal beheerd
- Niet van toepassing / nee
-
Geen mening / weet niet
-
In hoeverre worden data gedeeld? Kies wat het meest van toepassing is op uw organisatie. Data worden…
-
gedeeld binnen de organisatie, ook met derden (waar het kan en mag). Er is actief beleid op het delen van data en waar het kan zijn data FAIR (Findable, Accessible, Interoperable en Reusable)
- gedeeld binnen de organisatie, ook met derden maar alleen als het moet. Er is geen beleid op het delen van data
- gedeeld binnen de organisatie (waar het kan en mag). Maar niet daarbuiten, dus ook niet als het kan en mag mondjesmaat gedeeld binnen de organisatie, alleen als het echt niet anders kan. Maar niet daarbuiten, dus ook niet als het (juridisch en moreel) kan en mag
- niet gedeeld binnen de organisatie of daarbuiten
- Geen mening / weet niet
N.B. Voor zover ik kan zien werd op geen enkele manier het advies aangepast op bovenstaande keuzes. Ik werd gewoon doorgestuurd naar de innovatiefunnel.
Innovatiefunnel
Na de vragenlijst werd ik doorgestuurd naar de innovatiefunnel. Het was me niet duidelijk of deze op enige manier was aangepast n.a.v. gegeven antwoorden.
- Idee
- Ruw concept
- Uitwerken idee
- Verzamelen wetenschappelijk bewijs
- Gedetailleerd concept
- Ontwikkeling algoritme in eigen omgeving op basis van wetenschappelijke inzichten
- Prototype
- Beschikbaar voor validatie op eigen data en voorbereiding pilot binnen eigen context.
- Pilot
- Uitvoering pilot
- Product realisatie
- Implementatie
- Go live
- Beheer
- Monitoring
- Opvolging
Hier gestopt
Ik kon gewoon een pdf downloaden met alle inhoud :-).