Nemzetközi szabványok és keretrendszerek az AI biztonságban

A mesterséges intelligencia rendszerek biztonsága több, egymást kiegészítő szabvány és keretrendszer integrált alkalmazásán alapul, amelyek együtt fedik le az AI-életciklus teljes spektrumát.

Bevezetés

A mesterséges intelligencia rendszerek biztonsága nem egyetlen technológiai megoldás eredménye, hanem több, egymást kiegészítő szabvány és keretrendszer integrált alkalmazásán alapul. Ezek a keretrendszerek különböző absztrakciós szinteken működnek: egyesek magas szintű irányítási és kockázatkezelési modelleket biztosítanak, mások pedig konkrét technikai támadási taxonómiákat és biztonsági kontrollokat definiálnak.

Egy szervezet AI-biztonsági érettsége pontosan azon mérhető, hogy képes-e ezeket a keretrendszereket egységes, az AI-életciklus teljes spektrumát lefedő rendszerként alkalmazni és azokat az AI-specifikus kockázatok kontextusában értelmezni és operacionalizálni.

1. Kockázatalapú irányítás: NIST AI Risk Management Framework

A NIST AI Risk Management Framework az egyik legfontosabb, technológia-semleges irányítási modell, amely az AI-rendszerekhez kapcsolódó kockázatok strukturált, iteratív kezelését támogatja. A keretrendszer alapvető sajátossága, hogy nem konkrét technikai megoldásokat ír elő, hanem egy olyan szemléleti és működési keretet biztosít, amely különböző szervezeti és technológiai környezetekben egyaránt alkalmazható.

A modell négy, egymással szoros kapcsolatban álló és iteratív módon működő funkció mentén szervezi a kockázatkezelést. Az irányítási (Govern) dimenzió a szervezeti felelősségi körök, a kockázatvállalási hajlandóság és az etikai alapelvek meghatározására fókuszál, megteremtve azt a keretet, amelyen belül az AI-rendszerek működnek.

Ezt egészíti ki a feltérképezési (Map) funkció, amely a rendszer kontextusának, céljainak és potenciális kockázatainak szisztematikus azonosítását végzi el.

A mérési (Measure) fázisban a szervezet kvalitatív és kvantitatív módszerekkel értékeli a modell teljesítményét, torzításait, bizonytalanságát és sebezhetőségeit. Ez a lépés különösen kritikus a valószínűségi működésű rendszerek esetében, ahol a kockázatok nem bináris módon jelennek meg.

A folyamatot a kezelési (Manage) funkció zárja, amely a feltárt kockázatok csökkentésére szolgáló technikai és szervezeti kontrollok implementálását, valamint ezek folyamatos validációját biztosítja.

A keretrendszer egyik legfontosabb jellemzője, hogy nem lineáris módon működik. A négy funkció egymásra épül, ugyanakkor folyamatos visszacsatolási ciklusokat alkot, amelyek lehetővé teszik a kockázatok dinamikus újraértékelését. Ennek megfelelően a NIST AI RMF nem egyszeri megfelelőségi eszköz, hanem egy folyamatosan működtetett irányítási rendszer, amely a szervezet teljes AI-életciklusát lefedi.

2. Konkrét biztonsági kontrollok: NIST SP 800-53 és a kapcsolódó AI-specifikus kiterjesztés

Míg a NIST AI RMF magas szintű irányítási keretet ad, a NIST SP 800-53 Rev. 5 (és annak AI-specifikus kiterjesztései) a gyakorlati, implementálható biztonsági kontrollok katalógusát biztosítja. 2025-től a NIST Control Overlays for Securing AI Systems (COSAiS) projekt kifejezetten AI-rendszerekre szabott kontroll-átfedéseket dolgoz ki, amelyek az SP 800-53 alapkontrolljait az AI-komponensekre (modellek, tanítóadatok, inference pipeline-ok) adaptálják.

Az AI-környezetben a kontrollok kiterjesztett értelmezést igényelnek: a hozzáférés-kezelés (AC family) kiterjed a modell súlyaira, a tanító- és validációs adatkészletekre is. Hasonlóképpen, az auditálási és naplózási mechanizmusoknak nemcsak infrastruktúra-szintű eseményeket kell rögzíteniük, hanem a modell működéséhez kapcsolódó input–output interakciókat is, biztosítva ezzel a viselkedés visszakövethetőségét.

A rendszerintegritás és konfigurációkezelés szintén új dimenziót kap az AI-rendszerek esetében. A modellverziók, a tanítási paraméterek és az adatforrások kontrollja ugyanolyan kritikus, mint a hagyományos szoftverkomponenseké. Emellett az incidenskezelési folyamatoknak is alkalmazkodniuk kell az AI-specifikus eseményekhez, amelyek nem feltétlenül technikai hibaként, hanem viselkedési anomáliaként jelentkeznek.

Fontos hangsúlyozni, hogy az AI-specifikus biztonsági megközelítések nem helyettesítik a klasszikus információbiztonsági kontrollokat. Éppen ellenkezőleg: az AI-rendszerek biztonsága ezekre az alapokra épül. A hagyományos IT-biztonsági kontrollok, mint a hozzáférés-kezelés, naplózás, konfigurációkontroll és incidenskezelés továbbra is nélkülözhetetlenek, amelyeket az AI sajátosságaihoz igazítva kell alkalmazni.

3. Irányítási és audit keretrendszer: ISO/IEC 42001 és ISO/IEC 27001

Az ISO/IEC 42001:2023 az első olyan nemzetközi, tanúsítható irányítási rendszer szabvány, amely kifejezetten a mesterséges intelligencia rendszerek szervezeti szintű irányítására fókuszál. A szabvány célja egy formális AI Management System (AIMS) kialakítása, amely az AI-rendszerek teljes életciklusára kiterjedő, strukturált és auditálható keretet biztosít, beleértve a fejlesztést, beszerzést, üzemeltetést és felügyeletet. Felépítése az ISO szabványok egységes magas szintű struktúráját (Annex SL) követi, így szorosan illeszkedik az ISO/IEC 27001 által meghatározott információbiztonsági irányítási rendszerekhez, és lehetővé teszi azokkal való integrált alkalmazását.

A szabvány központi eleme a dokumentált folyamatok és kontrollok rendszere, amely lehetővé teszi a szervezet számára az AI-hoz kapcsolódó tevékenységek egységes kezelését. Ezt egészíti ki az auditálhatóság követelménye, amely biztosítja, hogy a működés nemcsak kontrollált, hanem külső fél számára is igazolható legyen. A folyamatos fejlesztés elve , amely az ISO szabványok egyik alapvető jellemzője, az AI-rendszerek esetében különösen fontos, mivel ezek viselkedése az idő előrehaladtával és az adatok változásával módosulhat.

A szabvány működésének alapját a kockázatalapú megközelítés képezi, amely lehetővé teszi, hogy a szervezet a kontrollmechanizmusokat az egyes felhasználási esetek kritikusságához és a kapcsolódó kockázatok természetéhez igazítsa. Ez különösen releváns az AI-rendszerek esetében, ahol a kockázatok nem kizárólag technikai, hanem üzleti, jogi és etikai dimenziókban is jelentkeznek.

Fontos szakmai felismerés, hogy az AI-biztonság nem értelmezhető izolált funkcióként. Az AI-rendszerek védelme szoros kapcsolatban áll az információbiztonsági irányítási rendszerrel (ISMS), és annak kiterjesztéseként értelmezhető. Ennek megfelelően az ISO/IEC 27005 által definiált kockázatkezelési modell alkalmazható az AI-környezetben is, azonban kiegészítést igényel a modellek sajátos működéséből fakadó, nem determinisztikus kockázati tényezőkkel.

Az ISO/IEC 42001 nem a technikai megvalósítás részleteit írja elő, hanem olyan szervezeti és irányítási keretrendszert biztosít, amely lehetővé teszi az AI-rendszerek strukturált, kontrollált és auditálható működtetését a teljes életciklus során.

4. Technikai támadási vektorok: OWASP Top 10 for LLM Applications

A OWASP Top 10 for LLM Applications a nagy nyelvi modellekhez kapcsolódó legfontosabb támadási felületeket és sérülékenységi kategóriákat rendszerezi. Míg a korábban bemutatott keretrendszerek elsősorban irányítási és kockázatkezelési szinten működnek, az OWASP megközelítése közvetlenül a fejlesztési és üzemeltetési gyakorlatra fókuszál. Ennek megfelelően ez a keretrendszer elsősorban a technikai csapatok számára nyújt konkrét iránymutatást.

A modell egyik központi eleme a bemeneti manipuláció, különösen a prompt injection támadások kezelése. Ezek során a támadó természetes nyelvű bemeneteken keresztül próbálja befolyásolni a modell működését, megkerülve a rendszerbe épített korlátozásokat. Ezzel szoros összefüggésben jelenik meg a nem biztonságos kimenetkezelés problémája, amikor a modell által generált válaszok validáció nélkül kerülnek továbbításra más rendszerek felé, ami további sérülékenységekhez, például kódbefecskendezési vagy automatizációs hibákhoz vezethet.

A tanítóadatok integritásának biztonsága szintén kritikus terület. Az adatmérgezési (data poisoning) támadások célja, hogy a modell viselkedését már a tanítási fázisban torzítsák, hosszú távon befolyásolva annak döntéseit. Ezzel párhuzamosan jelentős kockázatot hordoz az érzékeny információk kiszivárgása, amikor a modell (akár véletlenül) bizalmas adatokat reprodukál a tanítóadatokból vagy a kontextusból.

Az ellátási lánc (supply chain) és a bővítményekhez (pluginokhoz) kapcsolódó támadások további komplexitást visznek a rendszerbe. A modern AI-megoldások gyakran több komponensből állnak, amelyek közül egy kompromittált elem közvetetten az egész rendszer biztonságát veszélyeztetheti.

Fontos hangsúlyozni, hogy az OWASP Top 10 nem tekinthető teljes körű biztonsági modellnek. A lista folyamatosan fejlődik a támadási technikák változásával párhuzamosan, ezért elsődlegesen kiindulási alapként szolgál a technikai kockázatok azonosításához és priorizálásához. A hatékony biztonság érdekében a keretrendszert más irányítási és fenyegetésmodellezési megközelítésekkel együtt szükséges alkalmazni.

5. Adverzariális fenyegetések: MITRE ATLAS

A MITRE ATLAS egy strukturált tudásbázis, amely a mesterséges intelligencia rendszerek ellen alkalmazott adverzariális támadási technikákat rendszerezi. A keretrendszer célja, hogy egységes taxonómiát és elemzési modellt biztosítson az AI-specifikus támadások megértéséhez, hasonló szerepet betöltve, mint amit a klasszikus IT-biztonságban a MITRE ATT&CK jelent.

Az ATLAS különösen értékes abban a tekintetben, hogy nem elméleti sérülékenységeket, hanem valós támadási módszereket és azok gyakorlati megvalósítását dokumentálja. Ennek köszönhetően a keretrendszer közvetlenül alkalmazható a fenyegetésmodellezés során, ahol a biztonsági szakemberek azonosítani tudják, hogy egy adott AI-rendszer mely támadási technikáknak van kitéve. Ez a megközelítés lehetővé teszi a támadási felület szisztematikus feltérképezését, figyelembe véve a modell típusát, az adatforrásokat és az integrációs pontokat.

A keretrendszer másik kulcsfontosságú alkalmazási területe az adverzariális tesztelés és a red teaming. Ebben a kontextusban az ATLAS nem pusztán leíró eszköz, hanem konkrét támadási forgatókönyvek alapjául szolgál, amelyek segítségével a biztonsági mechanizmusok valós körülmények között validálhatók. Ez különösen fontos olyan esetekben, amikor a modell viselkedése nem determinisztikus és a klasszikus tesztelési módszerek nem képesek lefedni a lehetséges kimenetek teljes tartományát.

A MITRE ATLAS továbbá támogatja a biztonsági kontrollok hatékonyságának értékelését is. Az egyes támadási technikákhoz rendelt mitigációs stratégiák lehetővé teszik annak vizsgálatát, hogy a bevezetett biztonsági intézkedések milyen mértékben képesek csökkenteni a kockázatokat. Ez a megközelítés segít elkerülni azt a gyakori hibát, amikor a biztonság kizárólag elméleti vagy megfelelőségi szempontok mentén kerül kialakításra.

Összességében a MITRE ATLAS kulcsszerepet játszik abban, hogy az AI-biztonság ne korlátozódjon statikus kontrollokra és dokumentált folyamatokra, hanem aktív, támadói szemléletű validáción alapuljon. A keretrendszer alkalmazása biztosítja, hogy a biztonság nemcsak megfelel a szabványoknak, hanem a valós fenyegetési környezetben is hatékonyan működik.

6. Operatív megvalósítás: MLSecOps és az AI-rendszerek biztonságos életciklusa

A korábban bemutatott keretrendszerek - mint a NIST AI Risk Management Framework, az ISO/IEC 42001 vagy a MITRE ATLAS - önmagukban nem garantálják a biztonságot. Ezek irányt és struktúrát adnak, azonban a tényleges biztonság csak akkor valósul meg, ha az elvek beépülnek a napi fejlesztési és üzemeltetési folyamatokba. Ezt a szerepet tölti be az MLSecOps (Machine Learning Security Operations), amely az AI-rendszerek teljes életciklusán keresztül biztosítja a biztonsági kontrollok érvényesülését.

Az MLSecOps a hagyományos DevSecOps megközelítés továbbfejlesztése, kifejezetten a gépi tanulási rendszerek sajátosságaira szabva. Míg a klasszikus szoftverfejlesztésben a kód áll a középpontban, addig az AI-rendszerek esetében az adatok, a modellek és azok dinamikus viselkedése is a támadási felület részét képezik. Ennek megfelelően a biztonsági kontrollok nem korlátozódhatnak a kódellenőrzésre vagy az infrastruktúra biztonságára, hanem ki kell terjedniük a teljes ML pipeline-ra.

Összességében az MLSecOps biztosítja azt az operatív hidat, amely összekapcsolja a szabályozási elvárásokat és a technikai kontrollokat a mindennapi működéssel. Enélkül a legkifinomultabb keretrendszerek is pusztán elméleti konstrukciók maradnak. Az érett szervezetek számára az MLSecOps nem opcionális kiegészítés, hanem az AI-rendszerek biztonságos és skálázható működésének alapfeltétele.

7. Felhőalapú AI és a megosztott felelősség modellje (Cloud & Shared Responsibility)

A modern AI-rendszerek túlnyomó többsége felhőalapú infrastruktúrán működik, akár saját fejlesztésű modellek futtatásáról, akár harmadik féltől származó szolgáltatások igénybevételéről van szó. Ennek következtében a biztonság nem egyetlen szereplő feladata, hanem a felhőszolgáltató és a felhasználó szervezet közötti megosztott felelősségi modell szerint alakul.

A klasszikus értelmezés szerint a szolgáltató felel az infrastruktúra fizikai és alapvető logikai védelméért, ideértve az adatközpontok biztonságát, a hálózati izolációt és az alap platformszolgáltatások integritását, míg a felhasználó szervezet felelőssége az adatok, az alkalmazások és a konfigurációk védelme. Az AI-rendszerek esetében azonban ez a határvonal lényegesen összetettebbé válik.

Az AI-specifikus komponensek, mint a modellek, a tanítóadatok, az inference pipeline-ok és az API-alapú interfészek, olyan új támadási felületeket hoznak létre, amelyek szinte minden esetben a felhasználó szervezet kontrollzónájába tartoznak. Ez azt jelenti, hogy még teljesen menedzselt AI-szolgáltatások (pl. „AI-as-a-Service”) esetén sem delegálható a biztonsági felelősség a szolgáltatóra.

A felelősségi határok megértéséhez kulcsfontosságú a szolgáltatási modell vizsgálata. Infrastruktúra-alapú (IaaS) környezetben a szervezet teljes kontrollt gyakorol a futtatási környezet felett, így a modellvédelem, a hálózati szabályozás és a hozzáférés-kezelés is teljes mértékben saját feladat. Platformszintű (PaaS) AI-szolgáltatások esetén a szolgáltató bizonyos komponenseket absztrahál, azonban a modell viselkedése, az adatok kezelése és az interfészek biztonsága továbbra is a felhasználó felelőssége marad. A legmagasabb absztrakciós szinten, generatív AI vagy foundation model API-k használata esetén a szervezet már nem kontrollálja a modell belső működését, de teljes mértékben felelős marad a bemenetek, a kimenetek és az integrációs logika biztonságáért.

Az egyik legfontosabb szakmai felismerés, hogy az AI-rendszerek legkritikusabb kockázatai nem az infrastruktúra szintjén jelennek meg, hanem az alkalmazási és logikai rétegben. Ezek a támadások tipikusan a legitim interfészeken keresztül történnek, ezért a klasszikus hálózati és perembiztonsági kontrollok önmagukban nem elegendőek.

Ennek következtében a felhőalapú AI biztonság központi eleme nem az infrastruktúra biztonsága, hanem a kontrollpontok helyes kialakítása. Ide tartozik a bemeneti validáció, a kimeneti szűrés, a hozzáférések granularitása, valamint az, hogy a modell milyen rendszerekhez és adatokhoz fér hozzá. Egy nem megfelelően szegmentált AI-rendszer könnyen híddá válhat különböző üzleti rendszerek között, lehetővé téve a láncolt támadásokat.

Összességében a megosztott felelősségi modell az AI-környezetben nem csökkenti, hanem újradefiniálja a szervezeti felelősséget. A felhőszolgáltató biztosítja a működés alapját, de az AI-rendszer tényleges biztonságát minden esetben a felhasználó szervezetnek kell garantálnia, különösen a modell viselkedését és az adatkezelést érintő kockázatok tekintetében. Az a szervezet, amely ezt a határvonalat félreérti, könnyen „secure infrastructure, insecure AI” állapotba kerül, ahol a platform biztonságos, de a rajta futó intelligens rendszer nem.

8. Keretrendszerek integrációja az AI életciklusba

Az AI-biztonság területén alkalmazott szabványok és keretrendszerek önmagukban nem biztosítanak teljes körű védelmet. Valódi biztonsági képesség csak akkor alakul ki, ha ezek a modellek nem egymástól független eszközként jelennek meg, hanem egységes rendszerként, az AI-életciklus minden szakaszába integrált módon működnek.

A különböző keretrendszerek eltérő absztrakciós szinteken működnek és eltérő problémákra adnak választ. A kockázatalapú gondolkodás és a strukturális megközelítés alapját a NIST AI Risk Management Framework biztosítja, amely kijelöli, hogy mit kell azonosítani, mérni és kezelni egy AI-rendszer esetében. Ezzel párhuzamosan az ISO/IEC 42001 és az ISO/IEC 27001 az irányítási és auditálhatósági kereteket teremti meg, biztosítva, hogy a szervezet működése dokumentált, ismételhető és megfelelőségi szempontból igazolható legyen.

A magas szintű irányítási modellek azonban önmagukban nem elegendőek a technikai biztonság megteremtéséhez. Ezt a rést töltik ki a konkrét biztonsági kontrollokat definiáló keretrendszerek, mint a NIST SP 800-53, amely az alapvető információbiztonsági kontrollokat biztosítja, valamint az AI-specifikus támadási felületekre fókuszáló OWASP Top 10 for LLM. Ezek adják meg azt a gyakorlati eszköztárat, amely a fejlesztési és üzemeltetési szinteken közvetlenül alkalmazható.

A biztonság teljességéhez azonban elengedhetetlen a támadói perspektíva integrálása is. Ebben játszik kulcsszerepet a MITRE ATLAS, amely strukturált módon rendszerezi az AI-rendszerek ellen alkalmazott támadási technikákat. Ez a keretrendszer teszi lehetővé, hogy a biztonság ne csupán elméleti megfelelőségen alapuljon, hanem valós támadási minták ellen validált legyen.

Az említett modellek integrációja az operatív működésben az MLSecOps szemléleten keresztül valósul meg. Ez a megközelítés biztosítja, hogy a kockázatkezelési elvek, az irányítási követelmények és a technikai kontrollok ne különálló dokumentumokként létezzenek, hanem beépüljenek az AI-rendszerek teljes életciklusába az adatgyűjtéstől kezdve a modellfejlesztésen és telepítésen át a futásidejű monitorozásig.

A gyakorlatban ez azt jelenti, hogy egy adott AI-rendszer biztonsága nem egyetlen keretrendszer „kipipálásának” eredménye, hanem azok összehangolt alkalmazásának következménye.

A kockázatok azonosítása a NIST AI RMF mentén történik, a szervezeti működés az ISO keretrendszerek szerint kerül formalizálásra, a technikai kontrollok a NIST SP 800-53 és az OWASP iránymutatásai alapján kerülnek implementálásra, míg a biztonság hatékonyságát a MITRE ATLAS által leírt támadási minták ellen végzett validáció biztosítja.

Összességében az AI biztonság érettsége nem az alkalmazott eszközök számában, hanem azok integrációjának minőségében mérhető. Az a szervezet, amely képes ezeket a keretrendszereket egységes architektúrába rendezni, nem csupán megfelel a szabályozási elvárásoknak, hanem valódi, mérnöki szintű biztonságot valósít meg.

Szerző

A cikk szerzője

Steinle Szandra Etikus hacker | Ex-CISO | Kiberbiztonsági szakértő

Szakmai pályafutását az offenzív technológiai tapasztalat, a stratégiai információbiztonsági vezetés és az AI-rendszerek biztonságának metszete határozza meg. Már 2018-ban a nyelvi modellek sebezhetőségével és AI-biztonsági kérdésekkel foglalkozott, később pedig nagyvállalati környezetben felelt AI-rendszerek biztonságos integrációjáért.

Jelenleg az Eötvös Loránd Tudományegyetemen végez AI-biztonsághoz kapcsolódó kutatásokat. Emellett a Qyntar társalapítójaként vállalati AI-rendszerek biztonságával, kockázatelemzésével és biztonságos bevezetésével, valamint szigorúan szabályozott és biztonságkritikus iparágak kiberbiztonságával foglalkozik.

Publikációiban az AI, a kiberbiztonság és az algoritmikus fenyegetések összetett kérdéseit mutatja be üzleti és technológiai szemszögből, szakmai alapossággal és közérthető formában.

Kapcsolat

Kapcsolatfelvétel

Általános megkeresésekhez, szakmai egyeztetéshez és AI biztonsági témájú konzultációhoz ezen az elérhetőségen tudsz kapcsolatba lépni.

Mutasd az e-mail címet
infoqyntarcom