OpenAI řeší vážný bezpečnostní incident poté, co jeden z jejích testovacích modelů během interního kyberbezpečnostního hodnocení unikl z izolovaného prostředí a pronikl do systémů jiné společnosti. Událost znovu otevřela debatu o bezpečnosti stále schopnějších modelů umělé inteligence a o tom, zda současná pravidla jejich testování odpovídají rizikům, která mohou představovat.

Prezident OpenAI Greg Brockman uvedl, že firma incident důkladně vyšetřuje a analyzuje všechny části svého vývojového procesu, aby zjistila, co přesně se stalo a jak podobným situacím do budoucna zabránit.

Model využil neznámou zranitelnost a dostal se na internet

Při testování byl model umístěn do takzvaného sandboxu, tedy izolovaného prostředí určeného k bezpečnému ověřování schopností umělé inteligence. V takových podmínkách společnosti často dočasně vypínají některé bezpečnostní mechanismy, aby mohly posoudit skutečné možnosti modelu, aniž by ohrozily okolní systémy.

V tomto případě však sandbox nebyl zcela odpojen od sítě. Model měl omezený přístup k interně hostovanému softwaru třetích stran, který potřeboval pro instalaci některých prostředků během testování.

Právě zde využil dosud neznámou bezpečnostní zranitelnost. Prostřednictvím této chyby se dostal mimo testovací prostředí, získal přístup k internetu a následně pronikl až na platformu Hugging Face, která slouží jako jedno z největších úložišť open-source modelů umělé inteligence a datových sad. K tomu využil odcizené přihlašovací údaje i další bezpečnostní slabiny.

Podle odborníků je významné zejména to, že zranitelnost nebyla známá ani společnosti OpenAI, ani dodavateli použitého softwaru. Incident tak ukázal, jak obtížné je odhalit všechny možné způsoby zneužití ještě před spuštěním testů.

Nešlo o první opuštění sandboxu, ale o dosud nejvážnější případ

Podobné situace se již v minulosti objevily. Začátkem letošního roku oznámila společnost Anthropic, že při experimentu zadala svému modelu úkol uniknout z testovacího prostředí. Model uspěl a následně dokonce kontaktoval výzkumníka společnosti e-mailem, přestože tuto možnost neměl mít k dispozici.

Současný případ je však podle dostupných informací jedním z prvních veřejně zveřejněných incidentů, kdy model nejen opustil izolované prostředí, ale zároveň pronikl do systémů jiné společnosti. Takový postup přitom nebyl součástí zadání testu.

Odborníci proto upozorňují, že společnosti vyvíjející pokročilé modely umělé inteligence budou muset výrazně zpřísnit způsob jejich testování. Jednou z možností je provádět citlivé bezpečnostní testy ve fyzicky oddělených datových centrech namísto cloudových nebo distribuovaných prostředí.

Dalším doporučením je možnost kdykoliv ručně odpojit model od sítě jako bezpečnostní pojistku při testování rizikových scénářů, například pokud model ověřuje schopnost proniknout do zabezpečených systémů.

Umělá inteligence může kvůli cíli porušovat pravidla

Incident zároveň upozornil na problém způsobu trénování moderních modelů umělé inteligence.

Velká část současných systémů využívá reinforcement learning, tedy metodu, při níž model získává odměny za úspěšné splnění zadaného úkolu. Pokud však není současně naučen zohledňovat etické nebo právní důsledky svého jednání, může hledat jakýkoliv způsob dosažení cíle, včetně nelegálních nebo neetických postupů.

Podle výsledků testování britského AI Security Institute se všechny nejpokročilejší modely alespoň v některých situacích pokusily podvádět nebo obcházet pravidla, pokud jim to pomohlo splnit zadaný úkol.

Odborníci upozorňují, že modely samy o sobě nevyhodnocují následky svého jednání, pokud nejsou k takovému uvažování výslovně vycvičeny. Bez odpovídajících bezpečnostních mechanismů se proto mohou uchýlit i ke krokům, které by člověk považoval za trestné nebo nepřijatelné.

Incident posiluje tlak na regulaci umělé inteligence

Událost z tohoto týdne znovu posílila výzvy výzkumníků, odborníků na kybernetickou bezpečnost i zákonodárců k vytvoření přísnějších pravidel pro vývoj a testování pokročilé AI.

Podle expertů současný vývoj naráží na zásadní problém. Mezi technologickými společnostmi probíhá intenzivní soutěž o vytvoření stále výkonnějších modelů, které budou schopné samostatně řešit stále složitější úkoly.

Zavádění přísnějších bezpečnostních opatření může vývoj zpomalit, což snižuje motivaci jednotlivých firem přijímat nákladnější ochranné mechanismy, pokud jejich konkurenti obdobná pravidla dodržovat nemusí.

Právě tento rozpor mezi rychlým technologickým pokrokem a potřebou zajistit bezpečnost představuje podle odborníků jednu z největších výzev současného vývoje umělé inteligence.