Detta skapar ett nytt säkerhetsläge där gränsen mellan legitima verktyg och potentiella läckagekanaler blir allt mer suddig.

För att hantera situationen kombinerar många organisationer nu tekniska kontroller med styrning, utbildning och stöd från externa specialistpartners som arbetar med både AI‑utveckling och cybersäkerhet.

Från ”shadow AI” till strukturerad användning

Användningen av generativ AI har i stor utsträckning vuxit underifrån och statistik från Deloitte ger en bild av hur.

Enligt deras undersökning uppger 77 procent av de medarbetare som använder AI i arbetet gör det i modeller som inte har utvecklats eller köpts in av arbetsgivaren. 52 procent använder publikt tillgängliga gratistjänster, medan 25 procent själva betalar för AI‑verktyg de anser nödvändiga för att få jobbet gjort. Endast 19 procent uppger att de enbart använder AI som arbetsgivaren själv har utvecklat eller upphandlat.

Konsekvenserna syns redan. I Cisco 2024 Data Privacy Benchmark Study uppger 48 procent av företagen att de haft incidenter där konfidentiella data laddats upp i publika AI‑tjänster. 68 procent oroar sig för att känslig information ska hamna hos allmänheten eller konkurrenter, och 27 procent har därför helt förbjudit publika AI‑tjänster i arbetet.

Datan visar att problemet inte handlar om enstaka misstag, utan om återkommande beteenden.

Många organisationer med generativ AI uppvisar högriskbeteenden, och en stor del av frågorna till AI‑modeller innehåller potentiellt känslig information. Riskbilden präglas av vardagliga situationer där interna dokument, källkod, kunduppgifter eller strategiskt material delas med externa tjänster i syfte att ”bara testa”.

Allt fler företag försöker därför flytta användningen från ”shadow AI” till kontrollerade, säkra plattformar i den egna miljön. Vi märker det genom ett högt tryck på att hjälpa företag och organisationer att etablera företagsanpassade AI‑lösningar nära kundens data, med behörighetsstyrning, loggning och kryptering, i stället för att känslig information ska lämna organisationens kontroll i publika tjänster.

AI som betrodd insider

Den klassiska bilden av insiderhot har handlat om människor med legitim åtkomst som missbrukas, medvetet eller omedvetet. Med generativ AI tillkommer en ny typ av ”trusted insider”.

AI‑system ges ofta bred, automatiserad åtkomst till e‑post, chattar, dokument, kodlager och affärssystem, ibland bredare än någon enskild mänsklig användare, men utan lika mogna kontrollmekanismer.

Generativa modeller integreras dessutom direkt i samarbetsverktyg, utvecklingsmiljöer och kundnära system. AI‑agenter kan inte bara föreslå åtgärder utan också utföra dem. Datakopplingar sätts upp snabbt för att hinna realisera affärsnytta, ofta innan det finns full överblick över vilken information som exponeras.

Resultatet är att ett felaktigt konfigurerat AI‑system kan samla in, sammanfatta eller vidarebefordra stora mängder känslig data på kort tid, samtidigt som aktiviteten i loggarna kan likna legitim verksamhet.

Det förskjuter säkerhetsarbetet mot identitet och åtkomst för både människor och maskiner, snarare än enbart fokus på användarkonton.

I praktiken innebär det att fler organisationer nu tillämpar principer som ”least privilege” även för AI‑agenter, med separata tjänstekonton, tydligt avgränsade datakällor och kontinuerlig granskning av åtkomstmönster.

Vi ser att det är av yttersta vikt att kombinera vår kompetens inom AI‑utveckling och cybersäkerhet, för att designa sådana lösningar som en del av arkitektur och implementation, snarare än som ett lager pålagt i efterhand.

AI förstärker angriparnas verktygslåda

Generativ AI förändrar inte bara hur organisationer arbetar, utan också hur angripare agerar.

38 procent av säkerhetsansvariga rankar AI‑aktiverad ransomware som sin största oro. 82 procent av organisationer bedömer att nätfiskemejl blivit svårare att upptäcka när de genereras med hjälp av generativ AI, och 60 procent uppger att de redan upplevt attacker där deepfake‑teknik använts.

Det handlar inte längre om felstavade massutskick. Med hjälp av generativ AI kan angripare skapa skräddarsydda meddelanden på mottagarens språk, imitera tonläge och referera till relevanta interna projekt, särskilt när viss information redan har läckt. I takt med att fler verksamheter öppnar upp sina data för AI‑plattformar ökar värdet av ett lyckat intrång.

Detta driver fram behovet av mer avancerad detektion som tar hänsyn till AI‑genererade mönster. Lösningar där maskininlärning används på försvarssidan för att identifiera avvikande beteenden i både e‑postflöden och autentiseringsmönster blir vanligare.

Efterfrågan ökar på att kombinera generativ AI med traditionell säkerhetsanalys för att snabbare upptäcka onormala händelser, samt bygga automatiserad incidentrespons där AI‑stöd hjälper säkerhetsteam att analysera loggar, korrelera händelser och föreslå åtgärder.

Modellmanipulering och dataförgiftning

När organisationer går från att enbart konsumera färdiga AI‑tjänster till att träna eller finjustera egna modeller uppstår nya risker djupare i kedjan. Ett område är dataförgiftning, där träningsdata manipuleras för att styra modellen i oönskad riktning – via öppna datakällor eller interna system där angripare får inflytande över vilka datapunkter som blir träningsunderlag.

Ett annat område är riktade prompt‑attacker och försök att stegvis extrahera modellens kunskap eller interna regler. Genom smart utformade frågor kan en utomstående försöka komma åt information eller beteenden som aldrig var avsedda att exponeras.

Samtidigt visar undersökningar att 60 procent av ledarna och 41 procent av personalen matar AI‑verktyg med interna data, vilket ökar risken att modeller tränas på material som inte borde lämna den egna miljön.

59 procent av svenska IT‑säkerhetschefer ser uttryckligen generativ AI som ett av de största säkerhetsproblemen de kommande åren.

För att hantera detta krävs att säkerhet följer hela modellens livscykel. I stället för att enbart bevaka gränssnittet mot användaren behöver organisationer arbeta med styrning av datakällor, spårbarhet i träningspipelines, kontroll av versionshantering och skydd mot otillåten åtkomst till modeller i drift.

Styrning, data och kompetens – tre grundpelare

För att minska riskerna utan att tappa fart i utvecklingen framträder tre huvudområden.

Det första är styrning.  Tydliga principer och praktiska riktlinjer för hur generativ AI får användas. Det handlar om att definiera vilka datatyper som aldrig får lämna den egna miljön, vilka godkända tjänster som finns och hur uppföljning och incidenthantering runt AI ska gå till.

Det andra är datagrunden. Utan en uppdaterad datakatalog och fungerande klassning är det svårt att veta vad som kan exponeras mot AI‑system. Arbetet omfattar allt från att identifiera var information finns till att införa klassningsmodeller, kryptering och segmentering i moln och hybrida miljöer.

Det tredje området är kompetens och kultur. Generativ AI är lätt att ta i bruk, vilket gör att både bra och dåliga beteenden sprids snabbt. Säkerhetsutbildning behöver därför kopplas direkt till medarbetarnas vardag, med konkreta exempel på säkra respektive riskfyllda sätt att använda AI.

Mot en mer kontrollerad AI‑vardag

Dagens siffror pekar mot en riskbild där högriskbeteenden är vanliga, policyramverk ofta saknas eller är ofullständiga och kontrollen över data inte är tillräcklig. Samtidigt pågår ett skifte där fler organisationer går från experiment och enskilda initiativ till strukturerade satsningar på säkra plattformar, bättre datastyrning och integrerad säkerhet i hela AI‑livscykeln.

I det arbetet spelar teknikpartner med erfarenhet av både avancerad AI‑utveckling och säkerhetskritiska miljöer en central roll.

Genom att kombinera arkitektur, datahantering, applikationsutveckling och cybersäkerhet kan HiQ hjälpa organisationer att ta steget från ad hoc‑användning till en kontrollerad AI‑vardag, där produktivitet och innovation kan öka utan att säkerheten blir lidande.

Nyfiken på hur ni kan införa AI säkert och hållbart? Hör av dig så berättar vi mer.