Regulering van robots en algoritmes: waar staan we met de AI Act?

De zorgen over de explosieve groei van AI zijn voor Europa aanleiding geweest om nieuwe, vergaande wetgeving door te voeren: de AI Act. Ter bevordering van eerlijkheid, transparantie, robuustheid en diversiteit bevat deze wet een woud aan nieuwe eisen. Ook het perspectief is nieuw: risicobeheersing in plaats van regulering an sich. Wat zijn de contouren van de te verwachten nieuwe wet?

Een definitie van AI

Om iets te reguleren, moet de wet het eerst definiëren. Voor “AI” zijn honderden definities beschikbaar, alleen al het standaardwerk AI: A Modern Approach noemt er acht, uitgaande van vier verschillende assen. Vaak draaien deze definities om vergelijkingen met menselijk handelen of verwijzen ze naar specifieke technologie. Ook de AI Act nam deze heilloze route, maar is daar gelukkig tijdig van teruggekomen: er is aansluiting gezocht bij de OESO-definitie uit 2019, die het autonoom gedrag van het systeem voorop stelt.

De keuze voor autonomie is terecht: juist doordat AI-systemen autonoom (zonder menselijk toezicht) kunnen opereren, doen zich doorgaans veel van de daaraan verbonden risico’s voor. De term ‘risico’ verwijst hier naar risico’s voor de mensheid: gezondheid, veiligheid, grondrechten, democratie en rechtsstaat en het milieu. AI-systemen kunnen dus niet op zichzelf worden beschouwd, maar moeten worden geëvalueerd nadat potentiële risico's voor een van deze aspecten zijn geïdentificeerd.

Drie niveau’s van risico

In grote lijnen verdeelt de AI Act AI-systemen in drie categorieën:

1. Onaanvaardbaar risico AI. Dit type AI bedreigt fundamentele menselijke waarden of waardigheid in een zodanige mate dat het simpelweg niet op de Europese markt mag worden gebracht. Naast subliminale manipulatie en sociale kredietsystemen is real-time biometrische monitoring een prominent voorbeeld. Deze staan in de AI Act zelf; dit geeft duidelijkheid en geeft een barrière tegen al te lichtzinnig wijzigen ervan.

2. AI met een hoog risico. Deze categorie AI brengt aanzienlijke risico's met zich mee, maar de voordelen ervan kunnen groter zijn dan die van het nemen van voldoende voorzorgsmaatregelen. Hierbij geldt een tweetrapsraket. Allereerst moet sprake zijn van een hoogrisicogebied, zoals werving & selectie, toegang tot essentiële diensten of wetshandhaving. Ten tweede moet de toepassing op dat gebied “een aanzienlijk risico op schade aan de gezondheid, veiligheid of fundamentele rechten van natuurlijke personen” opleveren.

3. AI met laag risico. Een AI-systeem dat niet voldoet aan de categorie hoog risico wordt aangemerkt als ‘laag risico’ en kent slechts minimale eisen zoals transparantie over de status als AI en het niet mogen beslissen over menselijk gedrag of handelingen.

Compliance-aandachtspunten

Een hoog-risico AI brengt een hoop werk met zich mee. Er moeten processen voor gegevensbeheer en risicobeheer worden ingevoerd en het personeel moet worden opgeleid om nauwgezet met AI- systemen te werken, in plaats van de resultaten ervan blindelings te accepteren. Transparantie van het ontwerp van het systeem (in termen van de herkomst van de gegevens en de werking van het algoritme) is vereist, evenals het gebruik van de hoogste normen op het gebied van cyberbeveiliging en robuustheid. Volledige documentatie en informatie moet beschikbaar zijn voor zowel de toezichthoudende autoriteiten als de betrokken personen.

Niet-naleving kan kostbaar zijn: net als bij de AVG komt er een systeem van toezichthoudende autoriteiten, met bevoegdheden om boetes op te leggen tot 10 miljoen euro voor overtredingen van de naleving en tot 40 miljoen euro voor het vrijgeven van ongeautoriseerde risicovolle of verboden AI-systemen op de Europese markt. Aanvullende bevoegdheden zijn nog niet geregeld, maar omvatten waarschijnlijk een verbod op verder gebruik van het AI-systeem of zelfs de vernietiging van de onderliggende dataset.

Daarnaast is er de mogelijkheid van schadeclaims. Een burger die getroffen is door een AI systeem, kan een schadeclaim bij de producent of (Europese) aanbieder leggen. De bewijslast wordt omgedraaid: als de betrokkene een redelijk verband kan leggen tussen de schade en het kennelijke gebrek, moet de producent overtuigend aantonen dat een dergelijk verband feitelijk niet aanwezig is. Anders zal de producent de schade volledig moeten betalen – en geen kleine lettertjes of servicevoorwaarden kunnen dat verhinderen.

Wake-up call

De AI Act is een wake-up call voor bedrijven, ontwikkelaars en belanghebbenden om bij hun AI- inspanningen prioriteit te geven aan ethische overwegingen, mensenrechten en maatschappelijke waarden. Door actief te werken aan compliance kunnen organisaties niet alleen risico’s beperken, maar zichzelf ook positioneren als leiders in de verantwoorde ontwikkeling en inzet van AI.

Meer weten over de structuur en opzet van de AI Act? Op 13 november behandelt Arnoud Engelfriet deze wet in detail in een live webinar (1 PO punt). Schrijf u snel in!