Člověk ve smyčce je iluze. Proč lidský dohled nad AI zbraněmi nefunguje

AI řídí drony, vybírá cíle a koordinuje raketové zachycení v reálném čase. Lidský operátor vidí jen výstup — 92% pravděpodobnost úspěchu — a stiskne tlačítko. Jenže neví, co AI skutečně myslí. MIT Technology Review přináší vědecký pohled, který mění celou debatu.

Scéna, která vysvětlí vše

Představte si autonomní dron s úkolem zničit nepřátelský muniční sklad. Automatizovaný řídicí systém identifikuje optimální cíl a reportuje 92% pravděpodobnost úspěchu — sekundární exploze munice zničí celý objekt. Lidský operátor zkontroluje legitimitu vojenského cíle, vidí vysokou pravděpodobnost úspěchu a potvrdí útok.

Co operátor neví: v AI kalkulaci byl skrytý faktor. Sekundární exploze by zároveň těžce poškodila nedalekou nemocnici. AI to zahrnula do výpočtu — a přesto doporučila útok. Operátor rozhodl na základě čísel, aniž by měl přístup k tomu, co AI skutečně uvažovala.

Tuto myšlenkovou situaci popisuje Uri Maoz, neurovědecký badatel, který se desítky let zabývá záměrností v lidském mozku a nyní i v AI systémech. V MIT Technology Review varuje: nejnebezpečnější věcí v AI válce není strach z autonomních strojů bez lidské kontroly — ale iluze, že lidská kontrola něco znamená.

Černá skříňka ve válečné zóně

Moderní AI systémy jsou v zásadě black boxy — víme, co dostávají na vstupu a co produkují na výstupu, ale vnitřní zpracování zůstává neprůhledné. Ani jejich tvůrci nedokáží plně interpretovat, jak AI dospívá k rozhodnutím. A i když AI poskytne vysvětlení svého rozhodnutí, nemusí být pravdivé — může jít jen o plausibilní post-hoc racionalizaci.

To je v civilním prostředí nepříjemné. Ve válečném je to potenciálně katastrofální. Pentagonovy směrnice přesto stojí na předpokladu, že lidský dohled zajistí odpovědnost, kontext a nuanci. Maoz říká, že tento předpoklad je fundamentálně chybný.

AI už není jen analytický nástroj

Debata přichází v době, kdy AI hraje v ozbrojených konfliktech aktivnější roli než kdykoli předtím. Podle MIT Technology Review AI v aktuálním konfliktu s Íránem nejen pomáhá analyzovat zpravodajské informace — aktivně generuje cíle v reálném čase, řídí a koordinuje raketové zachycení a navádí smrtící roje autonomních dronů.

Anthropic vs. Pentagon: právní precedent

Maozův text přichází v kontextu probíhající právní bitvy mezi Anthropicem a americkým ministerstvem obrany. Anthropic se dostala do sporu ohledně podmínek, za nichž mohou být její modely nasazeny v klasifikovaných vojenských systémech. Případ nastoluje otázky, které přesahují technologické firmy: kdo zodpovídá za rozhodnutí AI v bojové situaci?

Otázka odpovědnosti je stěžejní i pro byznys mimo vojenský sektor. Pokud AI systém doporučí chybné rozhodnutí — v medicíně, financích, průmyslové automatizaci — a lidský schvalovatel toto rozhodnutí potvrdí bez skutečného porozumění, kdo nese odpovědnost? Formální human in the loop nemusí být zárukou ničeho.

Co dělat jinak

Maoz nenabízí snadné řešení, ale nastiňuje směr: interpretovatelnost AI musí být technickým požadavkem, ne bonusem. Pokud nedokážeme vysvětlit, jak AI k rozhodnutí dospěla — způsobem, který lidský operátor skutečně pochopí a může posoudit — nemůžeme tvrdit, že máme skutečný dohled.

Pro technologické firmy dodávající AI do regulovaných prostředí (zdravotnictví, finanční regulace, kritická infrastruktura) z toho plyne jasná lekce: explainability není jen marketingový buzzword. Je to základ odpovědného nasazení. A zákonodárci píšící pravidla pro AI by měli věnovat pozornost ne jen tomu, zda je člověk formálně ve smyčce — ale zda mu smyčka vůbec něco říká.

Zdroj: MIT Technology Review, Uri Maoz