AI agenti rychle vstupují do firemních procesů.

Rostoucí tlak na produktivitu však vede některé společnosti k nasazování autonomních systémů rychleji, než dokážou vytvořit odpovídající mechanismy pro řízení rizik. Výsledkem mohou být provozní incidenty, regulatorní problémy nebo použití AI v oblastech, na které firmy nejsou dostatečně připravené.

Agentní AI představuje další krok oproti běžným chatbotům. Tyto systémy mohou samostatně plánovat jednotlivé kroky, používat nástroje a vykonávat úkoly s omezeným lidským dohledem. S rostoucí autonomií ale zároveň roste význam kontroly nad tím, k jakým informacím a systémům mají agenti přístup a jaká rozhodnutí mohou samostatně provádět.

Obavy přicházejí v době širší debaty o bezpečnosti rychle se zlepšujících modelů. Výzkumník společnosti Anthropic Jacob Coxon nedávno rezignoval a veřejně upozornil na možné dlouhodobé dopady pokročilé AI. Firemní sektor mezitím řeší bezprostřednější problém – jak autonomní systémy bezpečně zavádět do reálných podnikových procesů.

Autonomie AI mění charakter firemního rizika

Společnosti jsou pod značným tlakem, aby dokázaly převést investice do AI do měřitelných výsledků. Vedení podniků proto hledá způsoby, jak automatizovat větší množství procesů a zvýšit produktivitu zaměstnanců. Tradiční systémy řízení rizik ale mohou být při rychlosti současného zavádění AI vnímány jako příliš pomalé a komplikované.

Problém nastává ve chvíli, kdy snaha o rychlé nasazení předběhne schopnost organizace určit, jaké důsledky může mít případná chyba. Zvláštní pozornost vyžadují oblasti podléhající přísné regulaci nebo procesy, ve kterých má AI přístup k citlivým informacím, externím službám či možnost provádět skutečné operace.

U tradičních AI systémů je často hlavním problémem kvalita jejich výstupu. Agentní systémy ale mohou jít dál a na základě vlastního vyhodnocení situace vykonat sérii navazujících kroků. Jedna chyba tak nemusí skončit nesprávnou odpovědí, ale může se promítnout do dalších částí firemního procesu.

Dopad jediného významného incidentu může přesáhnout samotný technický problém. Vedle přímých finančních nákladů mohou společnosti čelit regulatorním zásahům, ztrátě důvěry zákazníků nebo poškození reputace. Přínosy získané prostřednictvím předchozí automatizace tak mohou být částečně nebo úplně eliminovány jednou závažnou událostí.

Do roku 2027 může část firem své AI agenty vypnout

Rozsah problému může být výrazný. Odhady počítají s tím, že 40 % podniků bude muset do příštího roku deaktivovat autonomní AI agenty, přičemž k zásahu může v řadě případů dojít až poté, co nedostatky v řízení odhalí skutečné provozní incidenty.

Varovné příklady přitom existují už z období před současným rozšířením agentní AI. Americká Federal Trade Commission v roce 2023 zasáhla proti společnosti Rite Aid kvůli používání systému rozpoznávání obličejů, který nesprávně označil tisíce zákazníků za podezřelé z krádeže. Společnosti bylo následně na pět let zakázáno tuto technologii používat.

Mezi identifikované problémy patřilo nedostatečné testování systému, nedostatečné sledování jeho efektivity a omezené školení zaměstnanců ohledně možnosti chybných výsledků. Případ ukazuje, že samotné nasazení technologie bez odpovídajícího systému kontroly může vytvořit právní i reputační problémy.

U autonomních agentů může být situace ještě komplikovanější, protože jejich schopnosti zahrnují aktivní práci s dalšími nástroji a systémy. Rizikový profil se proto výrazně liší podle konkrétního použití. Agent určený například k organizaci interních dokumentů představuje jiný typ rizika než systém schopný samostatně pracovat s finančními transakcemi, zákaznickými daty nebo regulovanými procesy.

Současně pokračuje širší diskuse o bezpečnosti nejpokročilejších modelů. Někteří odborníci z AI sektoru veřejně upozorňují na rizika spojená s rychlým zvyšováním autonomie a schopností systémů. Pro podniky však zůstává bezprostředním úkolem především vytvoření kontrolních mechanismů odpovídajících tomu, co jejich agenti skutečně mohou dělat.

Firmy potřebují rozlišovat úroveň rizika

Jednotný systém řízení AI rizik vhodný pro všechny společnosti a všechny typy použití neexistuje. Základním principem může být rozdělení projektů podle potenciálního dopadu. Nízkorizikové případy mohou procházet jednodušším nebo automatizovaným schvalováním, zatímco systémy s možností závažnějšího dopadu vyžadují podrobnější lidskou kontrolu.

Takový přístup umožňuje zachovat rychlost vývoje tam, kde případná chyba nepředstavuje významnou hrozbu. Současně vytváří kontrolní body u aplikací pracujících s citlivými informacemi, důležitými rozhodnutími nebo regulovanými oblastmi. Cílem není zastavit inovace, ale přizpůsobit úroveň kontroly skutečnému riziku.

Důležitou součástí strategie je také rozpočet. Pokud společnost investuje významné prostředky do vývoje a nasazování AI, musí počítat také s náklady na governance, testování, monitoring a bezpečnost. Řízení rizik by tak nemělo být dodatečnou funkcí připojenou k hotovému produktu, ale součástí celého procesu nasazování.

Odpovědnost musí mít zároveň jasného vlastníka na úrovni vedení společnosti. S rostoucím počtem AI agentů se totiž governance stává nejen technickým tématem, ale také součástí řízení celého podniku. Firmy, které dokážou spojit rychlé nasazování AI s odpovídající kontrolou, mohou získat výhody automatizace bez toho, aby zároveň nekontrolovaně zvyšovaly provozní a regulatorní rizika.