Naar een 5 sterren model voor Open Algoritmes?

In december 2022 is het Algoritmeregister van de overheid officieel gelanceerd. Het doel van dit register is om transparantie te bieden over het gebruik van algoritmen door de overheid. Overheidsorganisaties publiceren via dit register informatie over de algoritmen die zij gebruiken, zoals het doel, het type algoritme, juridische informatie, en de mogelijke impact en risico’s. Toch wordt er kritiek geleverd op het algoritmeregister, omdat er vaak niet voldoende informatie in staat om daadwerkelijk te begrijpen en/of controleren hoe het algoritme werkt, en of het tot goede en eerlijke uitkomsten leidt. Daarom is het interessant om te kijken hoe we nog een stapje verder kunnen gaan met het algoritmeregister. Wat voor informatie is nog meer nuttig om inzicht te krijgen in de werking van het algoritme? En hoe kunnen we overheden stimuleren om dit transparant te maken?

Een schitterend idee

Op donderdag 30 maart was de Public Tech Unconference van Code for NL. Hier presenteerde Willy Tadema (AI Ethics Lead van het Rijks ICT Gilde) haar idee voor een 5 sterren-model voor open algoritmen. Geïnspireerd door de 5 sterren voor Linked Open Data (van Tim Berners-Lee), kunnen er aan algoritmen sterren toegekend worden die aangeven in hoeverre het een open algoritme is. Een beschrijving in het algoritmeregister is een goede eerste stap – of ster. Dit geeft inzicht in de context waarin het algoritme gebruikt wordt. Als daarbij ook nog andere gegevens gepubliceerd worden, bijvoorbeeld de resultaten van een audit, of de monitoringsdata van een algoritme, komen er meer sterren bij. Deze extra gegevens bieden experts, journalisten en andere geïnteresseerden de mogelijkheid om echt te onderzoeken hoe het algoritme werkt.

Dit is het model zoals Willy Tadema het voorstelt:

  1. Beschrijving (metadata) van het algoritme publiceren in het algoritmeregister.

  2. Online publicatie van de resultaten van een onafhankelijke assessment of audit en link opnemen in het algoritmeregister.

  3. Monitoringgegevens publiceren als open data en link opnemen in het algoritmeregister. Dit kunnen aggregaten zijn (indicatoren) maar liever nog ruwe data. Niet eenmalig, maar periodiek, zodat trends zichtbaar worden. Indien mogelijk monitoringgegevens uitsplitsen naar of verrijken met beschermde attributen.

  4. Toegang geven tot het algoritme, bijvoorbeeld via een API of een open source code bibliotheek.

  5. Broncode van het algoritme en training/validatie/test data publiceren. In geval van privacygevoelige gegevens zou in plaats van ‘echte’ data ook synthetische data gedeeld kunnen worden

Het 5 sterren-model biedt organisaties een handelingsperspectief: wat kan er gedaan worden om meer transparant te zijn over algoritmen? Natuurlijk moet er rekening gehouden worden met privacy, ‘gaming the system’, of het intellectueel eigendom van algoritmen. Hierdoor is het niet altijd haalbaar om alles openbaar te maken. Maar het overzicht van de mogelijkheden dat het sterren-model geeft, helpt om een afweging te maken over wat wél kan worden gepubliceerd.

Laat je horen!

Wij denken dat het toekennen van sterren een leuke manier is om overheden te stimuleren hun algoritmen waar het kan zo open mogelijk te maken. Want wie wil er nou geen 5 sterren-algoritmen?

Wat denken jullie? Is het sterren-model een goede aanvulling op het algoritmeregister? En welke acties kunnen aan elke extra ster gekoppeld worden? Hoe zouden jullie het vormgeven? Laat het ons weten als je hier ideeën over hebt! Wij gaan vast kijken of we ook zulke mooie 5 sterren-mokken kunnen maken ;).