Anpassningar till AI-förordningen — Säker användning, effektiv kontroll och stöd för innovation

Sammanfattning

Europaparlamentets och rådets förordning (EU) 2024/1689 om artificiell intelligens (AI-förordningen) har flera syften.[1] Förordningen ska bidra till en väl fungerande inre marknad, främja innovation och samtidigt säkerställa ett högt skydd för grundläggande rättigheter.[2] Skyddet för grundläggande rättigheter säkerställs genom krav på dokumentation, transparens och kunskap i samband med utveckling och användning av artificiell intelligens (AI).

Tillsyn är viktigt varför myndigheter som utövar tillsyn över efterlevnaden av grundläggande rättigheter enligt unionsrätten (nedan kallade artikel 77-myndigheter) ges särskilda befogenheter. Detta remissvar fokuserar på de delar av betänkandet som avser denna tillsyn (kapitel 8).

Institutet anser att utredningen gör en alltför snäv tolkning av artikel 77 och vilka myndigheter som har befogenheter enligt denna artikel. Institutet för mänskliga rättigheter är en artikel 77-myndighet och bör därför läggas till Europeiska kommissionens (kommissionen) förteckning över sådana myndigheter.

Institutet:

• är positivt till utredningens förslag att Diskrimineringsombudsmannen (DO), Integritetsmyndigheten (IMY), Justitieombudsmannen (JO) och Justitiekanslern (JK) även fortsättningsvis bör vara med på kommissionens förteckning över artikel 77-myndigheter. Vi är också positiva till att listan kompletteras med Säkerhets- och integritetsskyddsnämnden (avsnitt 8.5.2).
• rekommenderar regeringen att även föra upp Institutet för mänskliga rättigheter i förteckningen över artikel 77-myndigheter (avsnitt 8.5.3).
• är kritiskt till att utredningen inte föreslår sanktioner för överträdelser av skyldigheten enligt artikel 27 om att genomföra en konsekvensbedömning avseende grundläggande rättigheter innan AI-system med hög risk införs (avsnitt 10.7.3).
• anser att konsekvensutredningen brister då den saknar en analys av hur förslagen påverkar skyddet för de mänskliga rättigheterna, liksom en analys av hur uppdraget i artikel 77 påverkar berörda myndigheters verksamhet (kapitel 16).

Synpunkter på utredningens förslag och bedömningar

Tolkningen av artikel 77.1 (avsnitt 8.5.2)

Utredningens bedömning är att det är svårt att tolka vilka myndigheter som avses i artikel 77.1 i AI-förordningen. Vidare att myndigheter bör tas upp i förteckningen med viss försiktighet samtidigt som ett brett skydd för grundläggande rättigheter säkerställs. Som skäl till viss försiktighet anges bland annat att de myndigheter som avses i artikeln ges ingripande befogenheter mot enskilda och att AI-förordningen förutsätter samverkan mellan marknadskontrollmyndigheter och artikel 77-myndigheter.[3] Utredningen beskriver emellertid inte vilka befogenheter respektive artikel 77-myndighet kan utöva gentemot enskilda eller vilka risker det skulle medföra.

Utredningens tolkning av vilka myndigheter som omfattas av artikel 77.1 är också alltför snäv vilket underminerar möjligheten att säkerställa ett heltäckande och effektivt skydd för grundläggande rättigheter i enlighet med utredningens ambition och syftet med AI-förordningen.

Institutet är en artikel 77-myndighet. Enligt lag (2021:642) om Institutet för mänskliga rättigheter har vi i uppgift att främja säkerställandet av mänskliga rättigheter i Sverige med utgångspunkt i flera internationella regelverk däribland Europeiska unionens stadga om de grundläggande rättigheterna.[4] Uttrycket “främja” omfattar att både skydda och främja de mänskliga rättigheterna enligt Parisprinciperna samt de uppgifter som handlar om att övervaka genomförandet av FN:s konvention om rättigheter för personer med funktionsnedsättning.[5] Här ingår att följa, undersöka och rapportera om hur de mänskliga rättigheterna respekteras och förverkligas i Sverige.[6] Av 11 § framgår att statliga förvaltningsmyndigheter, kommuner och regioner ska på institutets begäran lämna uppgifter om vilka åtgärder som har vidtagits i den egna verksamheten för att säkerställa de mänskliga rättigheterna, innefattande den Europeiska unionens stadga om de grundläggande rättigheterna. Skyldigheten gäller inte för domstolsliknande nämnder eller sådana organ i förvaltningsmyndigheter som har domstolsliknande uppgifter. Skyldigheten gäller inte heller för JK, JO eller Riksrevisionen.

Hur AI och en alltmer digitaliserad offentlig verksamhet påverkar skyddet för mänskliga rättigheter, inklusive de grundläggande rättigheter som skyddas i unionsrätten, är en viktig fråga för institutet, inte minst mot bakgrund av regeringens höga ambitioner att effektivisera offentlig förvaltning och välfärdstjänster med AI- och datadriven utveckling.[7]

Statliga förvaltningsmyndigheter, kommuner och regioner är som ovan nämnts skyldiga att på institutets begäran lämna uppgifter om vilka åtgärder som har vidtagits i den egna verksamheten för att säkerställa de mänskliga rättigheterna.[8] Med stöd av denna befogenhet kan vi således redan idag begära information om huruvida offentliga aktörer som använder AI system med hög risk genomfört en konsekvensbedömning avseende grundläggande rättigheter, resultatet av en sådan konsekvensbedömning, och vilka åtgärder de vidtagit för att förebygga och motverka de risker som systemet innebär för skyddet för dessa rättigheter.[9]

Befogenheten ligger i linje med Parisprinciperna som anger att en institution för mänskliga rättigheter ska kunna samla in all slags information och handlingar som är nödvändiga för att kunna bedöma situationer som ligger inom dess behörighet.[10] Som regeringen tidigare konstaterat är det inte tillräckligt att institutet förlitar sig på myndigheternas samverkans- och informationsskyldighet utan möjligheten att begära ut information är central för att institutet på ett effektivt sätt kan skaffa sig tillräckligt underlag för att fullgöra sin uppgift.[11]

Många rapporter pekar på riskerna med en digitalisering av förvaltningsuppgifter som innefattar bedömningsmoment som är svåra, om ens möjliga, att omsätta till kod.[12] Civilsamhällesorganisationer i Sverige och internationellt har uppmärksammat allvarliga brister vid användningen av AI i samband med myndighetsutövning. Det gäller alltifrån automatiserad handläggning av sociala förmåner, till system för att minska bidragsbrott och felaktiga utbetalningar och riskbedömningsverktyg i det brottsförebyggande arbetet.[13]

Även vi har lyft riskerna med en utökad användning av AI i offentlig förvaltning i våra årsrapporter, remissvar och i dialogen med FN:s kommitté mot rasdiskriminering.[14] Eftersom vi är en myndighet med mandat att bevaka och granska efterlevnaden av grundläggande rättigheter enligt unionsrätten och redan gör ett sådant arbete är det förvånande att institutet inte nämns i betänkandet.[15]

Enligt det tolkningsunderlag från kommissionen som utredningen hänvisar till pekas också människorättsinstitut ut som myndigheter som typiskt sett avses i artikel 77.1.[16] Flera människorättsinstitut i andra länder återfinns också i kommissionens förteckning över artikel 77-myndigheter.[17] Detta gäller till exempel det danska institutet för mänskliga rättigheter (Institut for Menneskerettigheder), Greklands nationella kommission för mänskliga rättigheter. Irlands institut för mänskliga rättigheter (Irish Human Rights and Equality Commission) och det nederländska institutet för mänskliga rättigheter (College voor de Rechten van de Mens). Även ombudsmän som lever upp till Parisprinciperna (och har A-status) återfinns i förteckningen.[18]

Regeringen bör anmäla och offentliggöra myndigheterna och inkludera institutet i förteckningen till kommissionen (avsnitt 8.5.3)

Institutet delar utredningens bedömning att de myndigheter som redan identifierats som myndigheter för skydd av grundläggande rättigheter med särskilda befogenheter enligt artikel 77 i AI-förordningen även fortsättningsvis ska vara med i kommissionens förteckning. IMY, DO, JO och JK har alla viktiga uppdrag i relation till skyddet för de grundläggande fri- och rättigheterna enligt EU-rätten. Detsamma gäller utredningens förslag att lägga till Säkerhets- och integritetsskyddsnämnden.

Mot bakgrund av att Institutet för mänskliga rättigheter är ett oberoende offentligt organ som granskar hur de mänskliga rättigheterna respekteras i Sverige (se föregående avsnitt), anser vi att även institutet bör läggas till i förteckningen.

Enligt artikel 77.1 ”ska” nationella offentliga myndigheter eller organ som utövar tillsyn över eller kontrollerar efterlevnaden av skyldigheter enligt unionsrätt om skydd av grundläggande rättigheter i samband med användningen av AI-system med hög risk ha de befogenheter som anges i artikeln. Vi noterar att det inte är fråga om ett utnämnande eller bemyndigande från regeringen att en viss myndighet ska bli en artikel 77-myndighet. Det är myndigheternas befintliga uppdrag och uppgifter som avgör om de är sådana myndigheter som avses i artikel 77.1 i AI-förordningen. Skyldigheten att upprätta en förteckning över dessa myndigheter och anmäla till kommissionen är mer av en informationsskyldighet.[19]

Befogenheterna enligt artikel 77.1 omfattar både möjlighet att få tillgång till den dokumentation AI-förordningen ställer krav på och en möjlighet att begära att respektive marknadskontrollmyndighet testar AI-system med tekniska medel för att säkerställa att de är förenliga med skyddet för grundläggande rättigheter. Det är viktigt att institutets mandat är tydligt så att alla berörda parter är medvetna om att institutet också har möjlighet att begära hjälp av marknadskontrollmyndigheter för testning av AI-system. Detta för att vi effektivt ska kunna bidra till utvecklig och användning av AI på ett sätt som är fullt ut förenligt med grundläggande rättigheter, inbegripet rättsstatens principer, i enlighet med syftet med AI-förordningen.[20]

Vårt breda mandat och expertkunskap om hur man bedömer offentlig verksamhet utifrån våra grundlagar och för Sverige folkrättsligt bindande förpliktelser inom området mänskliga rättigheter utgör ytterligare skäl att lägga till institutet i kommissionens förteckning.

Vårt mandat är inte begränsat till vissa sakområden eller rättighetsfrågor, som till exempel DO:s, IMY:s och Säkerhets- och integritetsskyddsnämndens verksamhetsområden. Våra granskningar och rekommendationer kan därmed komplettera och ömsesidigt förstärka andra myndigheters arbete i syfte att säkerställa ett heltäckande kontrollsystem för skyddet för grundläggande fri- och rättigheter i förhållande till AI-system med hög risk.[21]

EU:s byrå för grundläggande rättigheter (FRA) har också framhållit vikten av heltäckande konsekvensbedömningar avseende grundläggande rättigheter enligt artikel 27 i AI-förordningen. Sådana bedömningar bör inte begränsas till frågor om skydd för personuppgifter och diskriminering utan även inbegripa bedömningar av konsekvenserna för andra rättigheter såsom rätten till ett effektivt rättsmedel, rätten till en rättvis rättegång, barns och äldres rättigheter och inkludering av personer med funktionsnedsättning.[22]

FRA har också framhållit vikten av att konsekvensbedömningarna sker i samråd med expertis på området mänskliga rättigheter, och inte enbart av teknisk expertis och de tilltänkta användarna av systemen.[23] Det finns också ett stort behov av vägledning för att översätta de skyldigheter som följer av EU:s stadga om de grundläggande rättigheterna i förhållande till användningen av ett visst AI-system i den egna verksamheten.[24]

Anmärkning och sanktionsavgift (avsnitt 10.7.3)

Institutet är kritiskt till utredningens bedömning att avstå från att föreslå sanktioner för överträdelser av skyldigheten att genomföra en konsekvensbedömning avseende grundläggande rättigheter innan AI-system med hög risk tas i bruk.

Som utredningen konstaterar är konsekvensbedömningarna ett sätt att identifiera risker i ett tidigt skede och vidta nödvändiga åtgärder för att minimera dessa risker innan AI-systemet används.[25] Om tillhandahållare inte genomför dessa konsekvensbedömningar kan det leda till att risker upptäcks för sent och människors grundläggande rättigheter kränks.

Detta utgör ett starkt skäl att förena överträdelser av kravet på konsekvensbedömningar med sanktioner. Det väger också tyngre än de skäl som utredningen anför emot sanktioner, nämligen ambitionen att hålla implementeringsåtgärderna på en miniminivå för att undvika en ökad regelbörda och extra kostnader för små och medelstora företag som träffas av artikel 27.[26]

Som beskrivits ovan kan användning av AI med hög risk leda till omfattande och allvarliga kränkningar av grundläggande rättigheter. Kränkningarna kan vara svåra att upptäcka för de enskilda som drabbas eftersom AI-assisterat beslutsfattande ofta bygger på komplexa och delvis automatiserade processer där den enskilde har begränsad insyn i vilka uppgifter som behandlas, hur dessa har vägts och vilken betydelse de haft för det slutliga beslutet. Detta understryker vikten av ett effektivt förebyggande arbete.

Konsekvensutredningen (kapitel 16)

Institutet konstaterar att skyddet för de grundläggande rättigheterna enligt unionsrätten ägnas relativt lite uppmärksamhet i utredningen. Skyddet för mänskliga rättigheter i bredare bemärkelse, utöver det skydd som följer av unionsrätten, berörs inte alls. Detta är en brist. För att säkerställa ett effektivt skydd för de mänskliga rättigheterna måste alla statliga utredningar som lägger fram förslag som påverkar skyddet för dessa rättigheter innefatta en analys av förslagens förenlighet med Sveriges internationella åtaganden om mänskliga rättigheter. Vikten av ett sådant förhållningssätt diskuteras också i förarbetena till förordningen (2024:183) om konsekvensutredningar.[27]

Betänkandet innehåller inte heller någon beskrivning av vilka konsekvenser uppdraget i artikel 77 får för DO, IMY, JO, JK och Säkerhets- och integritetsskyddsnämnden. Detta förklaras med hänvisning till att utredningen inte redovisar konsekvenser som följer av de direkt tillämpliga bestämmelserna i AI-förordningen.[28] Även detta är en brist då de befogenheter som följer av artikel 77-myndighet skapar förväntningar på myndigheterna att utöva tillsyn eller granskningar som kräver resurser.

Som nämnts ovan har institutet redan idag möjlighet att begära in uppgifter samt begära information från offentliga aktörer som använder AI system.[29] Däremot skulle möjligheten att lämna en motiverad begäran till ansvarig marknadskontrollmyndighet för organisering av testning av ett AI-system genom tekniska medel, vara en ny typ av uppgift inom ramen för vår bevakning och granskning. Då testningen skulle ske i nära samarbete med institutet skulle vi behöva avsätta resurser för ett sådant deltagande om det blir aktuellt.

Ärendets handläggning

Detta remissvar har beslutats av direktören Fredrik Malmberg och föredragits av juristen Anna Nilsson. I den slutliga beredningen har även ställföreträdande direktör samt tillförordnad chef för enheten utredning och analys Charlotte Palmstierna deltagit.

Fredrik Malmberg, direktör