AI i skolans vardag – möjligheter, gränser och nytt ansvar

När Ann-Sofie Gustafsson pratar om AI börjar hon inte med tekniken, utan med människan. Hon beskriver AI som ett stort teknikskifte, där klassiska frågor om risk, möjligheter och ansvar ställs på sin spets. För skolans värld innebär det både chans till effektivare administration – och nya skyldigheter.

Utgångspunkten är EU:s nya AI-förordning, AI Act, som stegvis börjat gälla från 2024. Den är riskbaserad: ju större påverkan ett AI-system kan ha på människors liv och rättigheter, desto hårdare krav.

Ann-Sofie beskriver tre stora globala linjer: USA som gärna släpper fram innovationen, Kina som använder tekniken för omfattande övervakning, och Europa som sätter mänskliga rättigheter först.

– Det som är bra med EU är att vi har en lång tradition av att värna människors integritet. Att vi reglerar AI är egentligen en fortsättning på det spåret, säger hon.

För skolledare och administratörer betyder det att AI inte är ett vilda-västern-verktyg som kan användas hur som helst, utan något som omfattas av tydliga ramar.

Oacceptabel, hög, låg eller minimal risk

AI-förordningen delar in system i fyra risknivåer. Längst upp finns de oacceptabla, som helt förbjuds. Hit hör till exempel AI som används för sociala poängsystem eller omfattande an­sikt­s­i­gen­kän­ning i offentlig miljö.

– Ska vi till exempel ha kameror i skolan som övervakar alla barnen, ser om de studerar eller inte, hur koncentrerade de är? Det är obehagliga möjligheter – och det är den typen av system som hamnar i oacceptabel risk.

Nästa nivå är högrisk-system, som får användas men bara under stränga villkor. Här finns till exempel AI som påverkar beslut om vem som får jobb, lån eller samhällsstöd. I skolmiljö kan administrativa AI-flöden som rör känsliga personuppgifter hamna här, till exempel om ett system används för att automatiskt sammanställa utvecklingssamtal med elever och vårdnadshavare.

– När AI kopplas till känslig personinformation poppar det upp till hög risk. Då riskerar man att bryta mot lagen, konstaterar hon.

Lågrisk och minimal risk är den stora vardagskategorin: AI i sociala medier, språkmodeller som används för generellt skrivstöd, eller tekniker som sorterar skräppost och hjälper till att styra rösten i mobilen. Här kan man mera fritt använda systemen, så länge de inte får tillgång till känsliga personuppgifter.

AI i administration – var går gränsen?

I många skolor används redan AI-lösningar för att skriva utkast till informationsbrev, ta fram mötesagendor eller formulera inbjudningar. Sådana uppgifter, där man arbetar med allmän text och inte matar in känslig elevdata, kan ligga på låg risknivå.

Problemet uppstår när gränsen flyttas utan att någon riktigt märker det. Ett AI-verktyg som först används för att putsa formulerade texter kanske snart får i uppdrag att analysera frånvaro, skriva riskanalyser kring en elev eller föreslå formuleringar i individanpassade åtgärdsprogram. Då rör man sig snabbt mot högriskzonen, där andra regler gäller och där AI-förordningen möter både GDPR och kommande regler om cybersäkerhet (NIS2).

– Man bör inte hålla på med AI när det kommer till känslig personinformation. Då riskerar personuppgifterna att hamna i fel händer och användas på fel sätt, säger Ann-Sofie.

AI-kunnighet – ett nytt krav på skolan

En av de artiklar i AI-förordningen som hon lyfter fram handlar om ”AI literacy”, på svenska AI-kunnighet. Den säger i korthet att den som använder ett AI-system ska förstå vad det kan göra, vilka risker som finns och hur resultaten bör tolkas.

– Ju mer vi använder ett AI-system, desto mer måste vi också förstå det. Här vilar ett stort ansvar på skolan – både som arbetsgivare och som utbildningsmiljö – att faktiskt lära sig AI, säger Ann-Sofie.

För att hantera riskerna pratar Ann-Sofie mycket om styrning – governance – och den nya standarden ISO 42001 för ansvarsfull AI. Den lyfter bland annat nio målområden som rättvisa, ansvarsskyldighet, transparens, säkerhet, robusthet och integritet.

– AI är inte en programvara som går från A till B, den lever ett eget liv. Därför behöver vi ledningssystem som hjälper oss att hålla koll på modellerna, säger hon.

Bakgrunden är inte bara teoretisk. Hon berättar om hur en stor språkmodell nyligen manipulerats i ett statligt stött spionageprojekt, där AI användes för att samla in information om företag och banker. Händelsen stoppades, men visar hur sårbara systemen är om ingen har ansvar för säkerhet och uppföljning.

Samtidigt sker satsningar på säkrare AI-miljöer. Sverige planerar en nationell språkmodell för myndigheter i en säker datamiljö i Linköping, just för att känslig offentlig information inte ska behöva lämna landet.

Trots alla varningar är Ann-Sofie optimist. Hon återkommer till begreppet Human Centered AI – AI i människans tjänst – och till möjligheten att använda tekniken för mer rättvis behandling.

– Det är faktiskt lättare att träna ett AI-system än att träna människor, säger hon med ett leende.