Máme AI ještě pod kontrolou?

Nejnebezpečnější okamžik nemusí nastat tehdy, když se umělá inteligence vzbouří proti člověku. Může přijít mnohem dříve – ve chvíli, kdy jí člověk začne dobrovolně předávat rozhodování, kterému už sám nerozumí. Ještě před několika lety jsme se ptali, co všechno AI dokáže. Dnes bychom si měli položit nepříjemnější otázku: víme ještě, co dělá, proč to dělá a jak ji zastavit, pokud začne dělat něco, co nechceme? To není science fiction. AI se během mimořádně krátké doby přesunula z laboratoří do ekonomiky, státní správy, médií, zpravodajství, kybernetické bezpečnosti, průmyslu i vojenství. Zvyšuje produktivitu a rychlost rozhodování, současně však vytváří paradox: čím schopnější systémy máme, tím více je potřebujeme – a čím více je potřebujeme, tím obtížnější je zachovat možnost je nepoužívat. Otázka proto možná nezní, zda AI ovládne člověka. Mnohem aktuálnější je, zda se člověk kontroly nevzdává sám.

Od nástroje k aktérovi

Kladivo samo nerozhoduje, který hřebík zatluče, a klasický software zpravidla nevytváří vlastní řetězce kroků mimo předem definovaný postup. U moderní AI se tato hranice rozostřuje. Model může analyzovat prostředí, vytvářet plán, používat další nástroje, komunikovat s jinými systémy, kontrolovat výsledky a pokračovat bez dalšího zásahu člověka. S agentními a multiagentními systémy vzniká kvalitativně odlišná situace: člověk stanoví cíl a stroji ponechá hledání cesty. Právě to je zdrojem obrovského potenciálu – a zároveň rizika. Kontrola totiž není binární. Může se vytrácet postupně: nejprve delegujeme rutinu, potom analýzu, návrh rozhodnutí, optimalizaci postupu a nakonec už jen formálně potvrzujeme variantu vytvořenou strojem. Na papíře zůstává „human in the loop“, ve skutečnosti může vzniknout člověk, který rozhodnutí AI pouze razítkuje. Přítomnost člověka v řetězci sama o sobě nezaručuje lidskou kontrolu. Pokud modelu nerozumí, nemá čas výstup ověřit, nemá alternativní zdroj informací nebo se naučil stroji automaticky důvěřovat, může být lidský dohled jen administrativní fikcí.

Čísla, která bychom u jiné technologie netolerovali

Podkladová analýza založená na delfské studii 272 mezinárodních expertů pracuje s pravděpodobnostními odhady, nikoli s empiricky změřenými četnostmi budoucích katastrof. Přesto je jejich řád znepokojivý. Při pokračování dosavadního vývoje experti odhadovali do roku 2030 katastrofický důsledek u nebezpečných schopností AI na 22 %, u zbraní a kybernetických útoků využívajících AI na 21 %, u centralizace moci na 18 %, u konkurenční dynamiky a nesouladu AI na 17 %, u bezpečnostních zranitelností na 16 %, u selhání governance na 14 % a u dezinformací a ztráty konsenzuální reality na 13 %. Ani po zavedení pragmatických opatření riziko nemizí: u nebezpečných schopností a zbraní či kybernetických útoků zůstává odhad na 12 %. Závěr je nepříjemný, ale strategicky důležitý: nulové riziko není realistickým cílem. Smyslem řízení musí být jeho snížení na tolerovatelnou úroveň a schopnost zvládnout riziko zbytkové. U jaderné elektrárny, přehrady, dopravního letadla či nového zbraňového systému bychom pravděpodobnost katastrofického následku v řádu jednotek nebo desítek procent nepovažovali za drobný technický problém. U AI přesto pokračuje globální závod o stále schopnější systémy rychleji, než vznikají instituce schopné jejich rizika řídit.

Skutečným rizikem nemusí být vzpoura strojů

Ve veřejné debatě přitahuje pozornost superinteligence, která se vymkne kontrole. AI však nemusí získat vědomí ani „nenávidět lidstvo“, aby způsobila mimořádné škody. Stačí, aby byla dostatečně schopná, dostala chybný cíl, byla napojena na významný systém, člověk jí příliš důvěřoval – nebo ji jiný člověk použil proti nám. Podklad rozlišuje zneužití, selhání, nesoulad, strukturální dynamiku a systémovou emergenci. Za jediným pojmem „riziko AI“ se tak skrývá několik odlišných mechanismů: člověk používající AI jako zbraň; systém, který udělá chybu; systém, který správně optimalizuje něco jiného, než jsme skutečně chtěli; závod firem a států, v němž nikdo nechce zpomalit jako první; a nakonec kolektivní chování množství autonomních systémů, které nikdo explicitně nenaprogramoval. Nejnebezpečnější proto nemusí být jedna superinteligence. Může jím být ekosystém tisíců propojených inteligentních systémů, za jehož celkové chování nebude odpovědný nikdo.

Největší slabinou AI může být člověk

Méně dramatický, ale možná pravděpodobnější scénář ztráty kontroly vzniká lidskou závislostí. Pokud algoritmus dlouhodobě poskytuje kvalitnější analýzy, roste tlak jeho doporučení přijímat. Čím častěji je správné, tím menší je motivace jej kontrolovat; čím méně jej kontrolujeme, tím více ztrácíme vlastní schopnost úkol vykonávat. Delegace vede ke ztrátě kompetence a ztráta kompetence k další delegaci. V bezpečnosti, krizovém řízení a vojenství je tento mechanismus zásadní. AČR může AI využívat při analýze zpravodajských informací, logistice, kybernetické obraně, podpoře velení nebo v autonomních systémech. Současně musí počítat s halucinacemi, nedostatečnou robustností, neprůhledností rozhodování, automatizačním zkreslením, klamáním modelů, otravou dat a závislostí na zahraničních dodavatelích. Představme si velitele, kterému AI během několika sekund vyhodnotí tisíce senzorových vstupů a doporučí cíl, zatímco na rozhodnutí zbývají desítky sekund. Formálně rozhoduje velitel. Fakticky však může být pouze posledním článkem procesu, jehož analýzu už není schopen nezávisle reprodukovat. To není argument proti vojenské AI. Armáda, která ji nepoužije, může ztratit tempo rozhodování. Vzniká bezpečnostní past: AI si nemůžeme dovolit nekontrolovat, ale zároveň si ji možná nemůžeme dovolit nepoužívat.

Závod, ve kterém nikdo nechce zpomalit první

AI se stala ekonomickým, vojenským a geopolitickým aktivem. Firmy soutěží o zákazníky a kapitál, státy o technologickou převahu, armády o rychlejší rozhodovací cyklus a zpravodajské služby o informační výhodu. Každý jednotlivý aktér má racionální důvod postupovat rychle, výsledkem však může být systémově iracionální chování. Firma, která zpomalí kvůli bezpečnostním testům, může ztratit trh. Stát, který omezí vojenské využívání AI, může ztratit strategickou výhodu. Armáda, která ponechá člověku delší čas k rozhodnutí, může prohrát proti protivníkovi, jenž automatizoval rozhodovací řetězec. Nikdo nemusí chtít nekontrolovanou AI, přesto k ní mohou všichni společně směřovat. Proto jsou konkurenční dynamika a selhání governance „upstream“ riziky: tlak na rychlé zavádění oslabuje testování, dohled i ochotu regulovat a zvyšuje pravděpodobnost dalších selhání. Kontrola AI tak není jen technický problém. Je problémem kolektivního jednání a strategické stability.

Česká republika: malý stát před velkým problémem

Česká republika globální vývoj AI nezastaví a sama neurčí parametry nejvýkonnějších modelů. To však neznamená bezmoc. Největší chybou by bylo zaměnit nemožnost řídit globální technologický vývoj za nemožnost řídit vlastní expozici vůči jeho rizikům. Podkladová analýza pro ČR vyzdvihuje zbraně a kybernetické útoky využívající AI, dezinformace a vlivové operace, bezpečnostní zranitelnosti, nebezpečné schopnosti, podvody a cílenou manipulaci a selhání governance. Problém je institucionální: AI se týká vlády, MPO, ČTÚ, NÚKIB, ÚOOÚ, ČNB, ministerstev vnitra a obrany, AČR, zpravodajských služeb i dalších subjektů. Každý drží část skládačky, ale nikdo nemusí držet celek. Sdílená odpovědnost se pak snadno mění v odpovědnost nikoho. Proto by AI neměla být chápána jen jako digitalizace, inovace nebo evropská regulace, ale u nejzávažnějších scénářů jako otázka národní bezpečnosti. Český stát potřebuje koordinační mechanismus pro rizika AI na úrovni Bezpečnostní rady státu, pravidelné národní hodnocení rizik, inventuru AI používané státem, hlášení závažných incidentů a bezpečnostní požadavky ve veřejných zakázkách. Nejde nutně o nový úřad. Jde o to, aby někdo konečně viděl celý systém. Součástí takového přístupu musí být také jasné určení vlastníka rizika u kritických aplikací. Nestačí vědět, kdo systém nakoupil nebo provozuje; stát musí vědět, kdo smí rozhodnout o jeho nasazení, kdo odpovídá za průběžné testování, kdo vyhodnocuje incident a kdo má pravomoc systém okamžitě odstavit. U systémů zasahujících do bezpečnosti státu by měla být předem stanovena i hranice nepřijatelné autonomie. Bez takového rozdělení odpovědnosti může při krizi vzniknout nejhorší možná kombinace: technicky velmi schopný systém a institucionální prostředí, v němž nikdo nemá dostatek informací ani mandát včas říci „stop“.

Regulace sama nás nezachrání

Evropa má tendenci odpovídat na technologická rizika právní regulací. Ta je nezbytná, ale zákon sám nevytvoří odborníka schopného auditovat nejpokročilejší model, red-team, výpočetní infrastrukturu, digitální suverenitu ani schopnost odhalit nepřátelskou operaci. Nezaručí ani to, že člověk v krizové situaci odmítne doporučení algoritmu. Proto je klíčová obrana do hloubky: bezpečnost modelu a jeho vývoje, bezpečnost nasazení a provozu, odolná infrastruktura, governance a regulace a nakonec společenská odolnost. Smyslem není předpokládat, že jedna pojistka nikdy neselže, ale vytvořit systém, v němž selhání jedné pojistky nevyvolá katastrofu. Stejný princip používáme v jaderné energetice, letectví a vojenských systémech. U AI není důvod být méně nároční.

Kontrola znamená také schopnost vypnout

Existuje jednoduchý test skutečné kontroly nad technologií: dokážeme bez ní pokračovat? Pokud ne, naše kontrola je omezená. Stát, jehož kritické rozhodovací procesy závisejí na zahraničních modelech, cloudu, čipech a datové infrastruktuře, nemusí mít skutečnou technologickou suverenitu, i když vlastní koncové aplikace. Armáda, která nedokáže vykonávat klíčovou funkci bez AI, nemá zálohu. Instituce, jejíž zaměstnanci přestali být schopni samostatně vykonávat činnost delegovanou na algoritmus, nevytvořila pouze automatizaci – vytvořila závislost. Skutečná kontrola proto vyžaduje nejen „human in the loop“, ale také „machine out of the loop“: bezpečný degradovaný režim, záložní postupy, segmentaci, možnost izolace systému a v kritických aplikacích rychlé odstavení. Jinak tlačítko OFF existuje pouze teoreticky.

Rok 2030: rozhodne inteligence našich institucí

Podkladová analýza pracuje se třemi budoucnostmi: řízenou adaptací, v níž bezpečnostní a regulační kapacity drží krok s technologií; erozí kontroly, kdy závod pokračuje a instituce zaostávají; a šokem v podobě rozsáhlého kybernetického útoku, dezinformační krize či incidentu spojeného s nebezpečnými schopnostmi AI. Rozdíl mezi těmito scénáři nemusí určit inteligence samotných modelů. Může jej určit inteligence našeho systému řízení. Pro ČR je proto rozhodující vybudovat koordinační, auditní a dozorové kapacity, bezpečný rámec využívání AI v resortu obrany, systematické vzdělávání, krizová cvičení a postupně také vyšší digitální suverenitu. Nejde o boj proti AI. Stát, který nedokáže její rizika řídit, nakonec nebude schopen bezpečně využít ani její výhody.

Máme tedy AI ještě pod kontrolou?

Odpověď závisí na tom, co slovem kontrola myslíme. Pokud jde o schopnost napsat prompt, získat odpověď a aplikaci zavřít, potom ano. Pokud však kontrola znamená schopnost státu vědět, kde všude AI používá; schopnost armády využívat ji bez ztráty lidského úsudku; schopnost regulátora kontrolovat systémy složitější než instituce, která je kontroluje; schopnost odhalit útok vedený stroji rychlostí strojů; schopnost fungovat při výpadku zahraniční infrastruktury; a především schopnost technologii zastavit dříve, než způsobí nevratný důsledek, potom je odpověď méně uklidňující. AI ještě není mimo naši kontrolu, ale kontrola už není samozřejmostí. Největším nebezpečím nemusí být okamžik, kdy umělá inteligence získá vlastní vůli. Může jím být chvíle, kdy zjistíme, že vlastní vůli máme stále my – ale postupně jsme ztratili schopnost ji prosadit. AI revoluce má totiž zvláštní vlastnost: nástroj, který máme řídit, se současně stává nástrojem, pomocí něhož řídíme stále větší část světa. Otázka „Máme AI ještě pod kontrolou?“ proto není otázkou jen pro informatiky. Je otázkou pro vládu, bezpečnostní komunitu, armádu, zpravodajské služby, regulátory, firmy i společnost. A možná bychom si k ní měli přidat ještě jednu: poznáme vůbec okamžik, kdy o tuto kontrolu začneme přicházet?

ZDROJ ZDE