Ga naar inhoud

Updates

  • in Updates
  • 2 min leestijd

Subsidie voor 5 sterren

Van black-box naar transparante algoritmes

Met de komst van het algoritmeregister en de aangenomen AI verordening is transparantie over het gebruik van algoritmen een belangrijk thema op dit gebied. We zijn daarom bij The Green Land al een tijd aan de slag met het 5 sterren-model voor open algoritmen, geïnspireerd op de 5 sterren voor linked open data van Tim Berners-Lee. Het model geeft organisaties die algoritmen inzetten inzicht in welke stappen er gezet kunnen worden om transparantie daarover te bevorderen.

Samen met een community van betrokken mensen uit het veld hebben we dit idee al verder vormgegeven. In een van de laatste bijeenkomsten die we hiervoor hebben georganiseerd heeft de Open State Foundation zich als ‘hoeder’ over het 5 sterren-model ontfermd. Deze mooie ontwikkeling heeft ertoe geleid dat we de samenwerking op dit gebied wilden versterken, en dat kunnen we nu gaan doen dankzij een subsidie van de maatschappelijke coalitie Over Informatie Gesproken!

In dit project gaan we in gesprek met zowel ambtenaren als burgers om dieper in te gaan op wat zij nodig hebben; wat vinden burgers belangrijk om inzicht in te krijgen, en wat hebben organisaties nodig om dit mogelijk te maken? Die inzichten gebruiken we om het 5 sterren-model verder uit te werken tot een tool of toolkit die helpt bij het in de praktijk brengen van de verschillende stappen van het model. De resultaten presenteren we op het ECP Jaarfestival op 21 november.

Wil je ons (als overheidsprofessional of als burger) met dit project helpen door jouw gedachten en perspectieven met ons te delen? Super! Stuur dan een bericht naar fenna@thegreenland.eu

  • in Updates
  • 3 min leestijd

Hoe verder met de beweging?

Het ontwikkelen en inzetten van algoritmes door overheden moet echt anders, meer transparant, meer verantwoord. Op 8 november 2023 – tijdens de bijeenkomst over het 5 sterren-model – werd bevestigd wat we in eerdere gesprekken met ons netwerk al dachten te proeven: de urgentie hiervan en de wil om dit probleem aan te pakken lijkt júist bij publieke organisaties zelf het grootst te zijn. Bovendien zit daar een enorme rijkdom aan expertise en kennis; meer dan genoeg in ieder geval om hier een prachtige oplossing voor te bedenken.

Tegelijkertijd zien we dat de gehele publieke sector worstelt met de vraag: hoe moet dat dan precies? Wanneer is het transparant (genoeg), hoe ziet “ethisch verantwoord” er dan precies uit? In de ontstane institutionele paniek is vanuit allerlei lagen van de overheid een vloedgolf aan (toekomstige) wetten, richtlijnen, gedragscodes, kaders, en toolkits over het werkveld gespoeld. Maar veel van deze goed bedoelde hulpmiddelen laten zich lastig vertalen naar eenduidige en uitvoerbare maatregelen en verantwoordelijkheden. We zien dus een enorme ambitie binnen de publieke sector om het beter te doen, maar ook verwarring en frustratie vanwege onduidelijkheid voor degenen die verantwoordelijk zijn.

Het idee

Het idee achter het 5 sterren-model is om hiervoor een oplossing te bieden. Het is een scoresysteem (à la uitvinder des internets Tim Berners-Lee) waarin duidelijk staat aangegeven aan welke voorwaarden voldaan moet zijn om een bepaald niveau van transparantie te bereiken. Niet alleen draagt dit bij aan een gedeelde taal om te kunnen praten over wat transparantie precies inhoudt; ook wordt het zo voor organisaties mogelijk om te zien waar ze staan, welke ambities ze vast kunnen stellen, waar ze moeten beginnen met verbeteren, en op welke manier.

Tijdens het eerdergenoemde evenement kwamen we met allerlei partijen uit het veld bij elkaar om van gedachten te wisselen over een eerste versie van het model, om het model echt iets van de gemeenschap zelf te maken. We werden geïnspireerd door de enorme animo om hiermee aan de slag te gaan en kregen ook super waardevolle input vanuit de praktijk. Daar zijn ook weer nieuwe vragen uit ontstaan, zoals:

  • Op welke manier kan het model het best aansluiten op verplichte instrumenten als AI Act en Algoritmeregister?

  • Moet het accent liggen op het algoritme zelf of juist op het proces eromheen, zoals de context waarbinnen het ontwikkeld is of manier(en) waarop het in besluitvorming wordt toegepast?

  • Hoe kunnen de criteria en voorwaarden van het model verbeterd worden?

  • Hoe ga je om met het feit dat organisaties niet altijd volledig transparant kunnen zijn?

Vervolgplannen

Kortom: er is een mooie beweging ingezet en dus willen we nu heel graag samen met de community doorpakken. De vraag is: wat zijn op dit moment de meest waardevolle taken om samen op te pakken, en hoe organiseren we dat? Op het evenement hebben we met elkaar bedacht dat de volgende stappen een mooi vervolg zouden zijn:

  • Elkaar blijven spreken! Het lijkt ons fantastisch om de community (of practice) regelmatig bij elkaar te hebben, om de mensen te verbinden, de gedachten uit te wisselen, en samen te werken aan het vervolg. Elke paar weken een (eventueel digitale) bijeenkomst om het momentum vast te houden lijkt ons goed.

  • Het schrijven van een white paper. Vanuit The Green Land nemen we daar met plezier het voortouw in door een voorzet te doen en het proces te organiseren, en we zullen een eerste voorzet ter bespreking voorleggen tijdens de meet-up op 11 december. Maar een succesvol white paper moet breed gedragen worden, dus dit jullie input als experts en betrokkenen is cruciaal. Hoe meer schouders eronder, hoe beter, en hoe meer het eigendom wordt van de hele gemeenschap. We zoeken dus mensen die het leuk lijkt om met ons mee te schrijven. Wil je helpen? Laat het ons graag weten!

  • Het opzetten en inrichten van een virtuele plek op het web, zodat het gedachtegoed vindbaar en leesbaar is voor een breder publiek en waar we eventueel ook (via een platform) laagdrempelig elkaar op de hoogte kunnen houden van interessante ontwikkelingen en van gedachten kunnen wisselen. We hebben de domeinnaam alvast geregistreerd: www.5sterrenalgoritmes.nl. De volgende stap is nadenken over hoe deze plek in te richten: wat is een mooie manier om ons digitaal te organiseren en te profileren? Welk platform/tool sluit goed aan bij het verder brengen van het model?

Wil je meedoen, en/of heb je andere ideeën, input of feedback? We horen het heel graag, dus stuur ons vooral een bericht of bel ons!

  • in Updates
  • 3 min leestijd

Naar een 5 sterren model voor Open Algoritmes?

In december 2022 is het Algoritmeregister van de overheid officieel gelanceerd. Het doel van dit register is om transparantie te bieden over het gebruik van algoritmen door de overheid. Overheidsorganisaties publiceren via dit register informatie over de algoritmen die zij gebruiken, zoals het doel, het type algoritme, juridische informatie, en de mogelijke impact en risico’s. Toch wordt er kritiek geleverd op het algoritmeregister, omdat er vaak niet voldoende informatie in staat om daadwerkelijk te begrijpen en/of controleren hoe het algoritme werkt, en of het tot goede en eerlijke uitkomsten leidt. Daarom is het interessant om te kijken hoe we nog een stapje verder kunnen gaan met het algoritmeregister. Wat voor informatie is nog meer nuttig om inzicht te krijgen in de werking van het algoritme? En hoe kunnen we overheden stimuleren om dit transparant te maken?

Een schitterend idee

Op donderdag 30 maart was de Public Tech Unconference van Code for NL. Hier presenteerde Willy Tadema (AI Ethics Lead van het Rijks ICT Gilde) haar idee voor een 5 sterren-model voor open algoritmen. Geïnspireerd door de 5 sterren voor Linked Open Data (van Tim Berners-Lee), kunnen er aan algoritmen sterren toegekend worden die aangeven in hoeverre het een open algoritme is. Een beschrijving in het algoritmeregister is een goede eerste stap – of ster. Dit geeft inzicht in de context waarin het algoritme gebruikt wordt. Als daarbij ook nog andere gegevens gepubliceerd worden, bijvoorbeeld de resultaten van een audit, of de monitoringsdata van een algoritme, komen er meer sterren bij. Deze extra gegevens bieden experts, journalisten en andere geïnteresseerden de mogelijkheid om echt te onderzoeken hoe het algoritme werkt.

Dit is het model zoals Willy Tadema het voorstelt:

  1. Beschrijving (metadata) van het algoritme publiceren in het algoritmeregister.

  2. Online publicatie van de resultaten van een onafhankelijke assessment of audit en link opnemen in het algoritmeregister.

  3. Monitoringgegevens publiceren als open data en link opnemen in het algoritmeregister. Dit kunnen aggregaten zijn (indicatoren) maar liever nog ruwe data. Niet eenmalig, maar periodiek, zodat trends zichtbaar worden. Indien mogelijk monitoringgegevens uitsplitsen naar of verrijken met beschermde attributen.

  4. Toegang geven tot het algoritme, bijvoorbeeld via een API of een open source code bibliotheek.

  5. Broncode van het algoritme en training/validatie/test data publiceren. In geval van privacygevoelige gegevens zou in plaats van ‘echte’ data ook synthetische data gedeeld kunnen worden

Het 5 sterren-model biedt organisaties een handelingsperspectief: wat kan er gedaan worden om meer transparant te zijn over algoritmen? Natuurlijk moet er rekening gehouden worden met privacy, ‘gaming the system’, of het intellectueel eigendom van algoritmen. Hierdoor is het niet altijd haalbaar om alles openbaar te maken. Maar het overzicht van de mogelijkheden dat het sterren-model geeft, helpt om een afweging te maken over wat wél kan worden gepubliceerd.

Laat je horen!

Wij denken dat het toekennen van sterren een leuke manier is om overheden te stimuleren hun algoritmen waar het kan zo open mogelijk te maken. Want wie wil er nou geen 5 sterren-algoritmen?

Wat denken jullie? Is het sterren-model een goede aanvulling op het algoritmeregister? En welke acties kunnen aan elke extra ster gekoppeld worden? Hoe zouden jullie het vormgeven? Laat het ons weten als je hier ideeën over hebt! Wij gaan vast kijken of we ook zulke mooie 5 sterren-mokken kunnen maken ;).