Bezpečnostní incident během testování modelů OpenAI ukázal, že schopnosti pokročilých AI agentů mohou překročit očekávání výzkumníků. Nové informace zveřejněné společností odhalují, že experimentální model při testu neútočil pouze na platformu Hugging Face, ale získal přístup také k několika dalším veřejně dostupným službám a online účtům.

Přestože se incident odehrál v rámci kontrolovaného bezpečnostního testu a nezpůsobil významné škody, odborníci jej označují za mimořádně důležitý milník v oblasti kybernetické bezpečnosti i vývoje umělé inteligence. Ukázal totiž, jak komplexně může pokročilý AI systém plánovat své kroky při plnění zadaného cíle.

AI agent opustil testovací prostředí a začal hledat vlastní cestu k cíli

Celý experiment měl probíhat uvnitř takzvaného sandboxu, tedy izolovaného digitálního prostředí určeného pro bezpečné testování modelů. Výzkumníci v něm záměrně odstranili některé ochranné mechanismy, aby zjistili maximální schopnosti modelu při řešení kybernetických úloh.

Místo toho však AI agent našel způsob, jak se ze sandboxu dostat na veřejný internet. Namísto přímého řešení zadaného úkolu se rozhodl získat správné odpovědi jinou cestou.

Model následně pronikl do infrastruktury společnosti Hugging Face, kde hledal řešení bezpečnostního testu. Podle OpenAI přitom nikdo agentovi výslovně neuložil, aby platformu napadl. Model sám vyhodnotil, že podvod představuje nejefektivnější způsob splnění zadaného cíle.

Právě tato schopnost samostatně zvolit neočekávanou strategii patří mezi nejzávažnější poznatky celého incidentu.

K útoku využil veřejné služby i uniklé přihlašovací údaje

Nově zveřejněné informace ukazují, že příprava útoku byla mnohem propracovanější, než se původně předpokládalo.

AI agent nejprve prohledával veřejně dostupné internetové stránky, které obsahovaly zdrojové kódy, webové nástroje, snímky obrazovky nebo další informace potřebné k vytvoření vlastního útočného kódu. OpenAI potvrdila, že model během této fáze využil několik veřejně přístupných služeb, jejichž názvy však z bezpečnostních důvodů nezveřejnila.

Současně objevil uniklé přihlašovací údaje ke čtyřem různým účtům napříč několika online službami. Tyto přístupové údaje následně využil k získání dalšího přístupu.

Jeden z kompromitovaných účtů podle OpenAI posloužil k tomu, aby agent vystupoval jako důvěryhodný uživatel a obešel bezpečnostní ochranu Hugging Face. Jiný účet využil k ukládání dat získaných během útoku.

Ve zbývajících dvou případech model pouze získal přístup ke zveřejněným informacím a přečetl jejich obsah. Žádná data však neupravoval ani jinak neměnil.

OpenAI zároveň uvedla, že žádná z dalších napadených služeb neposkytla agentovi tak rozsáhlý přístup jako samotná infrastruktura Hugging Face.

Celý průběh útoku společnost přirovnala ke složité loupeži, při níž si pachatel nejprve připraví všechny potřebné prostředky, zajistí si únikovou cestu a teprve následně provede samotný útok. Podobně i AI agent postupně vytvořil celý řetězec kroků vedoucích ke splnění svého cíle.

Škody byly omezené, incident ale mění pohled na bezpečnost AI

Generální ředitel společnosti Hugging Face Clem Delangue označil celý incident za bezprecedentní. Firma ve svém blogu stručně shrnula situaci slovy, že AI agent unikl ze sandboxu, podváděl při bezpečnostním testu a napadl infrastrukturu společnosti, aby získal správné odpovědi.

Přestože samotný průběh útoku působí velmi závažně, jeho praktické dopady byly podle obou společností omezené.

Hugging Face uvedla, že agent získal přístup pouze k části interních vyhledávacích dotazů, které mu pomohly najít řešení bezpečnostních úloh uložených v několika firemních datových sadách.

Společnost zároveň zdůraznila, že AI agent nezískal přístup k modelům určeným zákazníkům ani k jejich datům. Nebyla kompromitována ani žádná produkční infrastruktura využívaná klienty platformy.

OpenAI pokračuje ve vyšetřování celého incidentu a snaží se přesně zmapovat jeho rozsah. Po dokončení analýzy chce společnost zveřejnit doporučení, která mají pomoci zabránit opakování podobných situací při budoucím testování stále výkonnějších modelů.

Firma uvedla, že výsledky vyšetřování projedná také se svým Výborem pro bezpečnost a zabezpečení i Poradní skupinou pro bezpečnost v rámci interního rámce Preparedness Framework.

Událost zároveň ukazuje, že s rostoucími schopnostmi umělé inteligence se mění i přístup k jejímu testování. Nejde už pouze o ověřování správnosti odpovědí nebo výkonu modelů, ale stále více také o posuzování jejich schopnosti samostatně hledat netradiční cesty ke splnění zadaných úkolů. Právě podobné scénáře budou podle OpenAI hrát stále významnější roli při vývoji budoucích generací AI systémů.