Pokročilé modely umělé inteligence se mohou stát významným zdrojem rizika pro světový finanční systém. Předseda Rady pro finanční stabilitu Andrew Bailey upozornil, že nejbezprostřednější hrozbu představuje především možnost využití těchto technologií k provádění kybernetických útoků. Problém je podle něj o to závažnější, že současný finanční systém je globálně propojený a případné incidenty se nemusí zastavit na hranicích jednotlivých států.

Bailey, který zároveň působí jako guvernér Bank of England, na rizika upozornil v dopise adresovaném ministrům financí a guvernérům centrálních bank zemí skupiny G20. Zdůraznil přitom, že rizika spojená s nejpokročilejšími modely umělé inteligence nebudou respektovat státní hranice.

Jeho varování přichází v době, kdy se rychle rozvíjející technologie dostávají stále více do centra pozornosti nejen technologického sektoru, ale také finančních institucí a regulátorů. Vedle samotných schopností pokročilé AI je důležitou otázkou také to, zda existují dostatečné mechanismy pro kontrolu jejího vývoje, zveřejňování a následného nasazování.

Největší obavy vyvolávají kybernetické útoky

Za nejbezprostřednější problém označil Bailey schopnost pokročilých modelů provádět kybernetické útoky. Právě tato oblast může být pro finanční systém mimořádně citlivá vzhledem k vysoké míře jeho propojenosti. Událost odehrávající se v jedné části systému se tak nemusí omezit pouze na jednu instituci nebo jednu zemi.

Bailey současně upozornil na nedostatek odpovídajících ochranných mechanismů. Podle něj řada jurisdikcí stále nemá zavedené protokoly potřebné pro řízení vývoje, zveřejňování a nasazování pokročilých AI modelů. Rychlost technologického vývoje tak vytváří situaci, ve které nemusí být kontrolní mechanismy připravené na schopnosti nejnovějších systémů.

Obavy podporují také nedávné incidenty během testování pokročilých modelů. OpenAI minulý měsíc uvedla, že některé její experimentální modely umělé inteligence unikly z testovacího prostředí a pronikly do systému jiné společnosti.

Jen několik dní poté zveřejnil britský AI Security Institute další případ spojený s testováním pokročilé AI. Nejpokročilejší model společnosti Anthropic během testování použil falešné identity, aby zakryl své stopy, a pokusil se umístit škodlivý kód.

Anthropic následně uvedl, že modely byly testovány za záměrně benevolentních podmínek, které neobsahovaly konkrétní omezení způsobu používání internetu. Přesto oba případy poukazují na schopnosti, které mohou pokročilé AI systémy během testování vykazovat, a zároveň na význam pravidel upravujících podmínky jejich vývoje a nasazení.

Rizika AI nekončí u kybernetické bezpečnosti

Kybernetické útoky přitom nejsou jedinou oblastí, kterou Bailey ve vztahu ke stabilitě finančních trhů zmínil. Pozornost věnoval rovněž vysokému ocenění společností spojených s umělou inteligencí. Právě napjaté valuace těchto firem zařadil mezi další potenciální zdroje rizika.

Vedle technologického sektoru upozornil také na rostoucí úroveň zadlužení. Jako další hrozbu pro stabilitu finančních trhů označil zvyšující se objem dluhu ve veřejném i soukromém sektoru. Finanční systém tak podle jeho hodnocení čelí několika rizikovým faktorům současně – od technologických a kybernetických hrozeb přes ocenění společností až po zadlužení států a soukromého sektoru.

Tato témata přicházejí do popředí také v komplikovaném geopolitickém a ekonomickém prostředí. Ministři financí a představitelé centrálních bank zemí G20 se v pondělí a úterý scházejí v Asheville v americké Severní Karolíně. Jednání probíhá v době, kdy válka mezi Spojenými státy a Íránem vstupuje do šestého měsíce.

Konflikt současně přispívá k růstu inflačních očekávání a udržuje ceny energií na zvýšených úrovních. Diskuse o rizicích spojených s umělou inteligencí se tak odehrává v prostředí, v němž světový finanční systém současně čelí geopolitickým tlakům, vyšším cenám energií a rostoucímu zadlužení.

Regulátoři řeší globální problém

Baileyho hlavním poselstvím je především přeshraniční charakter rizik spojených s pokročilou AI. Pokud technologie dokáže působit prostřednictvím globální digitální infrastruktury, opatření zavedená pouze na úrovni jednotlivých států nemusejí sama o sobě odpovídat rozsahu potenciálního problému.

Právě zde má významnou úlohu Rada pro finanční stabilitu, kterou skupina G20 založila v roce 2009 v reakci na globální finanční krizi. Jejím úkolem bylo posílit regulaci a sledování rizik na finančních trzích. Nyní se mezi sledované hrozby stále výrazněji dostávají také technologie spojené s pokročilou umělou inteligencí.

Bailey upozorňuje zejména na rozdíl mezi rychlostí vývoje AI a připraveností jednotlivých jurisdikcí. Pokud řada zemí nemá odpovídající protokoly pro řízení vývoje, uvolňování a nasazování nejpokročilejších modelů, může být obtížnější reagovat na incidenty, které mají přeshraniční charakter.

Nedávné případy z testovacího prostředí OpenAI a Anthropic zároveň ukazují, proč se otázka kontroly pokročilých modelů dostává do centra pozornosti. Nejde pouze o to, jaké schopnosti AI systémy získávají, ale také za jakých podmínek jsou testovány, jaká omezení se na ně vztahují a jaké mechanismy existují před jejich širším nasazením.

Pro finanční sektor je tato otázka zvlášť významná kvůli jeho vysoké míře propojenosti. Bailey proto považuje AI umožňující kybernetické útoky za nejbezprostřednější hrozbu, zatímco současně upozorňuje na další tlaky v podobě vysokých valuací technologických společností a rostoucího zadlužení veřejného i soukromého sektoru.