Kontrola musí zůstat v rukou lidí

Předseda představenstva a generální ředitel společnosti Microsoft Corporation (MSFT) Satya Nadella v sobotu vyzval k tomu, aby pokročilé systémy umělé inteligence vznikaly s jasně vymezenými bezpečnostními pojistkami, nezávislým dohledem a možností zásahu člověka.

Součástí takové architektury má být také „nouzová brzda“, jejímž prostřednictvím by oprávněné osoby mohly model pozastavit nebo zcela vypnout i uprostřed prováděné úlohy. Podle Nadelly nestačí spoléhat pouze na chování samotného modelu.

„Nedeterministické modely musíme obklopit robustním, deterministickým návrhem systémů, lidskými kontrolními mechanismy a spolehlivými provozními postupy,“ napsal Nadella na sociální síti X. Zároveň vyzval k vytvoření oborových standardů v oblastech, kde nynější pravidla nejsou dostačující.

Nedeterministický charakter znamená, že reakce modelu nemusí být za všech okolností zcela předvídatelná. Nadella proto klade důraz na okolní systémovou architekturu, která by umožňovala sledovat činnost modelu, vyhodnocovat její průběh a v případě potřeby zasáhnout.

Šéf Microsoftu rovněž uvedl, že s nejpokročilejšími modely s uzavřenými i otevřenými vahami by se mělo zacházet obdobně jako s riziky spojenými s interními aktéry. Takový přístup má podle jeho vyjádření tvořit jeden ze základů bezpečnostního systému.

Auditní stopa, testování a izolace modelů

Nadella ve svém příspěvku popsal soubor principů zaměřených na pozorovatelnost systémů umělé inteligence. Provozovatelé by podle něj měli mít dostatek informací o tom, co model dělá, jaké kroky podniká a zda jeho činnost odpovídá nastaveným pravidlům.

Jedním z požadavků je modelová rozmanitost. Návrh systému by se tak neměl opírat výhradně o jediný model. Nadella současně požaduje, aby po činnosti umělé inteligence zůstávala stopa srozumitelná lidem, kterou lze zpětně prověřit a použít při auditu.

Mezi další uvedené prvky patří průběžné testování celého systému, nezávislé kontrolní mechanismy a auditovatelnost. Tyto nástroje mají umožnit ověřování provozu nejen při zavádění modelu, ale také během jeho dalšího používání a při plnění jednotlivých úloh.

Samostatnou součástí návrhu má být izolace neboli containment. Jejím účelem je udržet činnost modelu ve vymezeném prostředí a zachovat možnost jejího omezení. Nadella mezi principy zahrnul také zveřejňování incidentů, které by mělo doplnit technické kontroly a provozní postupy.

„Nejdůvěryhodnějším systémem superinteligence nebude ten s modelem, kterému důvěřujeme nejvíce,“ napsal Nadella. „Bude to ten, který nám umožní důvěřovat modelu co nejméně.“ Výrokem zdůraznil význam ověřitelných pojistek namísto spoléhání na předpokládanou spolehlivost modelu.

Varování výzkumníků a odlišný postoj Bílého domu

Nadellovo vyjádření přichází v době, kdy na nedostatečné bezpečnostní protokoly a rychlé tempo vývoje umělé inteligence upozorňují další představitelé technologického odvětví a výzkumníci. Patří mezi ně spoluzakladatel Microsoftu Bill Gates, šéf Anthropicu Dario Amodei, generální ředitel OpenAI Sam Altman a šéf SpaceX Elon Musk.

Jeden z výzkumníků minulý měsíc odešel ze společnosti Anthropic a obvinil ji i jejího hlavního konkurenta OpenAI z toho, že „hazardují s našimi životy“. Jeho odchod dále zvýraznil spor o rozsah bezpečnostních opatření při vývoji nejpokročilejších modelů.

Později téhož dne vedoucí pracovník Anthropicu, který se zabývá sladěním chování AI s lidskými záměry a bezpečností systémů, uvedl, že existuje více než desetiprocentní pravděpodobnost, že by tato technologie mohla během příštího desetiletí zahubit všechny lidi.

Americký prezident Donald Trump naopak riziko vyhynutí v souvislosti s umělou inteligencí opakovaně odmítl. Ve svých vyjádřeních zdůrazňuje především potřebu, aby americký technologický sektor udržel náskok před Čínou.

Trump nedávno představil také nový útvar označovaný jako „AI Force“. V jeho čele stojí ředitel národního zpravodajství Jay Clayton. Úkolem tohoto uskupení má být usnadňování rozvoje odvětví a vyhledávání aktérů, kteří technologii zneužívají nebo jednají v rozporu s pravidly.