Hoog risico onder de AI-verordening: de nieuwe EU-richtlijnen uitgelegd
De Europese Commissie heeft de langverwachte (concept-)richtlijnen gepubliceerd over de classificatie van hoog-risico AI-systemen onder artikel 6 AI-verordening. De richtlijnen zijn formeel niet bindend, maar helpen bedrijven in de praktijk bij de verplichte beoordeling van hun systemen. Centraal staan onder andere de rol van het ‘beoogde doel’, de afbakening van veiligheidscomponenten, de reikwijdte van Annex III en het filtermechanisme van artikel 6 lid 3 AI-verordening. Een week eerder publiceerde de Commissie nog afzonderlijke concept-richtlijnen over de transparantieverplichtingen van artikel 50. Deze bepaling bevat verplichtingen voor aanbieders en gebruikers van bepaalde systemen, waaronder chatbots.
In dit overzichtsartikel volgt een heldere samenvatting van de eerstgenoemde richtlijn, waar nodig aangevuld met commentaar. Tussen haakjes wordt regelmatig verwezen naar de relevante vindplaatsen in de richtlijnen zelf.
Voor het gemak wordt vanaf nu volstaan met de Engelse termen high risk en AI Act.
High-risk AI: classificatie staat centraal
De richtlijnen zien niet op de volledige naleving van alle verplichtingen voor high-risk AI-systemen; ze worden uitdrukkelijk beperkt tot de vraag óf een AI-systeem als high-risk moet worden geclassificeerd. Richtlijnen voor de inhoudelijke naleving van de eisen volgen later. De praktische beoordeling begint dus bij classificatie: valt het systeem onder artikel 6 AI Act, gelezen in samenhang met Annex I of Annex III? Pas daarna komt de vraag aan de orde aan welke verplichtingen de aanbieder of gebruiker moet voldoen.
De Commissie onderscheidt twee routes naar high-risk classificatie. De eerste route ziet op AI-systemen die zelf een product zijn of als veiligheidscomponent onderdeel uitmaken van een product dat onder bepaalde harmonisatiewetgeving valt, mits voor dat product een conformiteitsbeoordeling door een derde partij vereist is (Annex I). De tweede route ziet op AI-systemen die voor bepaalde toepassingen worden ingezet (Annex III).
Het beoogde gebruik als startpunt van de beoordeling
Voor beide routes is het beoogde doel van het systeem bepalend. De Commissie sluit aan bij artikel 3(12) AI Act: het gaat om het gebruik waarvoor het systeem door de aanbieder (art. 3(3) AI Act) is bedoeld, “met inbegrip van de specifieke context en voorwaarden van het gebruik, zoals gespecificeerd in de informatie die door de aanbieder in de gebruiksinstructies, reclame- of verkoopmaterialen en verklaringen, alsook in de technische documentatie is verstrekt”. Het beoogde doel moet worden onderscheiden van het redelijkerwijs te voorziene misbruik (vgl. art 3(13) AI Act).
Wanneer een systeem in gebruiksinstructies, documentatie, marketing of contractuele voorwaarden door de aanbieder als breed inzetbaar wordt gepresenteerd, en high-risk toepassingen niet consistent worden uitgesloten, omvat het beoogde doel volgens de Commissie ook high-risk gebruiksvormen (par. 2 richtlijnen). Een enkele clausule waarin high-risk gebruik wordt uitgesloten, is niet zonder meer voldoende; Commissie kijkt naar de volledige context waarin het systeem wordt aangeboden.
Annex I: wanneer is AI een veiligheidscomponent?
Voor Annex I-systemen draait de beoordeling om twee cumulatieve voorwaarden. Het AI-systeem moet (i) zelf een gereguleerd product zijn of als veiligheidscomponent onderdeel uitmaken van een gereguleerd product, namelijk onder de in Annex I genoemde harmonisatiewetgeving, en het product moet (ii) onder de toepasselijke wetgeving aan een conformiteitsbeoordeling door een derde partij zijn onderworpen.
De Commissie benadrukt dat niet ieder AI-systeem in een gereguleerd product automatisch een veiligheidscomponent is. Het begrip veiligheidscomponent heeft onder de AI Act een autonome betekenis (art. 3(14) AI Act). Doorslaggevend is of (i) het systeem een veiligheidsfunctie vervult of dat (ii) het falen of disfunctioneren ervan de gezondheid, veiligheid of eigendom van personen in gevaar kan brengen.
De eerste route ziet op systemen die bedoeld zijn om veiligheidsrisico’s te voorkomen of beperken. Denk aan een AI-systeem dat andere onderdelen monitort en desnoods een veilige stop activeert. De tweede route ziet juist op de gevolgen van falen of disfunctioneren: ook als de aanbieder het systeem niet als veiligheidsfunctie presenteert, is het alsnog een veiligheidscomponent wanneer falen of disfunctioneren een veiligheidsrisico oplevert. Wel is vereist dat dit risico voldoende ernstig is, waarbij de Commissie aansluiting zoekt bij art. 3(2) AI Act. Voorbeelden zijn lichamelijk letsel of geestelijk trauma. Reputatieschade, puur financieel verlies of ongemak zonder veiligheidsrisico worden niet meegerekend.
Een uitgebreide lijst van voorbeelden van mogelijke veiligheidscomponenten is terug te vinden in de richtlijnen (nr. 45 e.v.).
De verplichte conformiteitsbeoordeling door een derde partij vormt een belangrijke afbakening van de high-risk classificatie. Niet ieder product onder de harmonisatiewetgeving van Annex I is namelijk aan zo’n externe beoordeling onderworpen. Daardoor kwalificeert ook niet ieder AI-systeem binnen zulke producten automatisch als high-risk. Mogelijke voorbeelden zijn slimme consumentenproducten, zoals huishoudelijke apparaten.
Annex III: algemene opmerkingen
Menselijke tussenkomst voorkomt high-risk classificatie niet automatisch
De Commissie stelt voorop dat menselijke betrokkenheid op zichzelf geen reden is om een systeem buiten de high-risk categorie te plaatsen. Dergelijke betrokkenheid verandert namelijk niet het beoogde doel van het systeem. Als het beoogde doel onder de in Annex III genoemde toepassingen valt, is het systeem in beginsel high-risk. Menselijke tussenkomst speelt vooral een rol bij de naleving van de verplichtingen voor high-risk AI-systemen, gelet op artikel 14 AI Act.
Menselijke betrokkenheid kan wel relevant zijn bij het filtermechanisme van artikel 6(3) AI Act. Het kan bijvoorbeeld bijdragen aan de beoordeling dat een systeem slechts een beperkte procedurele taak verricht en daardoor niet als high-risk kwalificeert.
De lijst is beperkt, maar de toepassing breed
De Annex III-lijst is limitatief. Alleen systemen die binnen een uitdrukkelijk genoemde use case vallen, kunnen onder artikel 6(2) AI Act als high-risk worden geclassificeerd. De Commissie kijkt steeds naar de concrete functie van het systeem, de output, de context waarin die output wordt gebruikt en de mate waarin het systeem een beoordeling beïnvloedt. High-risk classificatie betekent volgens de Commissie bovendien niet dat het gebruik van het systeem is toegestaan (nr. 82). De AI Act laat andere Unierechtelijke en nationale beperkingen onverlet. Wanneer verschillende AI-componenten samen één systeem vormen en gezamenlijk een high-risk doel dienen, worden zij volgens de Commissie als geheel beoordeeld (nr. 75).
Meer lezen? Sluit kosteloos een proefabonnement af bij AI-Forum voor wekelijkse updates
