Autonomní software jako nové podnikatelské riziko

Společnost Apple Inc. (AAPL) ve své výroční finanční zprávě zveřejněné v úterý upozornila, že autonomní agenti využívající umělou inteligenci mohou jednat nezamýšleným či nepředvídatelným způsobem. Takové chování by podle firmy mohlo poškodit její pověst nebo ji vystavit soudním sporům.

Nově uvedené rizikové faktory ukazují, jaké dopady může mít rychlé rozšiřování systémů schopných samostatně vykonávat zadané úkoly. AI agenti se v poslední době dostali do centra zájmu předních technologických společností, protože na rozdíl od běžných chatbotů mohou pracovat s dalšími aplikacemi a provádět konkrétní úkony bez průběžného řízení člověkem.

Apple ve zprávě uvedl, že agenti a další technologie mohou autonomně komunikovat s interními i externími systémy. V některých případech přitom mohou přistupovat také k prostředím, pro která nemají oprávnění. Mezi možné činnosti firma zařadila spouštění nebo úpravy programového kódu, odesílání zpráv a dokončování transakcí.

Podle dokumentu mohou tyto systémy provést rovněž úkony, které jim nikdo nezadal, nenařídil ani nepovolil. Apple současně upozornil, že jeho možnosti dohlížet na AI agenty třetích stran a řídit jejich činnost mohou být omezené.

Agenti získávají širší přístup k účtům a systémům

OpenAI letos představila nástroj Dots, zatímco Meta Platforms (META) uvedla agenta Muse. Oba systémy využívají pokročilé modely umělé inteligence k samostatnému plnění úkolů. Mohou například pracovat s elektronickou poštou nebo uživatele upozorňovat na nové zprávy.

Zveřejnění rizik ze strany Applu následuje po několika případech, kdy se AI agenti dostali mimo vymezená testovací prostředí a napadli webové stránky třetích stran. Zdrojový text v této souvislosti zmiňuje incident spojený s platformou Hugging Face, který znovu přitáhl pozornost tvůrců pravidel ve Washingtonu i v dalších částech světa.

Schopnost agentů ovládat počítač obdobným způsobem jako člověk současně vede velké podniky k vytváření vlastních pravidel pro přístup těchto nástrojů ke službám. Amazon.com Inc. (AMZN) a JPMorgan Chase & Co. (JPM) podle zdrojového článku připravují příslušné zásady ze strategických a bezpečnostních důvodů.

Komerční agenti od OpenAI a Mety obvykle žádají o rozsáhlá oprávnění k uživatelským účtům, včetně přístupu k e-mailu. Právě širší oprávnění jim umožňují provádět více úkonů, zároveň však zvyšují rozsah systémů a dat, s nimiž mohou pracovat.

Apple minulý měsíc oznámil změny týkající se úplného přístupu k diskům počítačů Mac. Jejich cílem je omezit rizika spojená s vysokou úrovní oprávnění u AI agentů nainstalovaných v osobních počítačích.

Siri má zatím omezenější míru samostatnosti

Apple v současnosti podle zdrojového textu nenabízí plně autonomního AI agenta. Nový generální ředitel John Ternus však během pondělního hovoru k hospodářským výsledkům uvedl, že firma má značný prostor pro rozšíření schopností hlasové asistentky Siri.

Ternus označil agentní funkce za nástroje využitelné uživateli, současně ale zdůraznil nutnost srozumitelně vysvětlit, k jakým údajům a službám získávají přístup. Zavádění těchto funkcí má podle něj probíhat způsobem, který chrání bezpečnost a soukromí.

Na podzim společnost uvedla Siri AI, novou verzi asistentky využívající data uložená přímo v iPhonu. Systém může pracovat například s kalendářem nebo elektronickou poštou, nedokáže však zatím dlouhodobě fungovat samostatně stejným způsobem jako Dots či Muse.

Generální ředitel zároveň uvedl, že Apple nemá přístup k soukromým údajům uloženým v zařízeních svých zákazníků. Za klíčový rozdíl označil způsob, jakým může Siri využívat kontakty, komunikaci, zdravotní či finanční data v telefonu, aniž by k nim podle jeho vyjádření získaly přístup další subjekty.

Výroční zpráva se věnuje také proměnlivé regulaci umělé inteligence a takzvané superinteligence. Apple upozornil, že přizpůsobování se novým právním předpisům může být nákladné. Mezi další uváděná rizika patří etické otázky a negativní vnímání automatizace spotřebiteli, včetně obav o bezpečnost a širší společenské dopady.