Anthropic chce zákon, který zastaví AI, když hrozí smrt 50 lidí

Tvůrce modelu Claude rozeslal po Washingtonu návrh zákona, který by federální soud nechal zablokovat vypuštění AI modelu. Spouštěč: hrozba smrti více než 50 lidí nebo škoda přes miliardu dolarů. Co to znamená pro firmy stavějící na AI?

Představte si, že chystáte uvedení nového produktu postaveného na nejnovějším AI modelu — a tři dny před startem vám federální soud release zablokuje. Přesně takový scénář by umožnil návrh zákona, který po Washingtonu rozeslala společnost Anthropic, tvůrce modelu Claude. Spouštěčem má být jediná věc: hrozba, že by technologie mohla připravit o život více než 50 lidí nebo způsobit škodu přes 1 miliardu dolarů.

Je to jeden z nejkonkrétnějších pokusů o regulaci umělé inteligence, jaký zatím některá z velkých laboratoří sama předložila. A protože Anthropic patří mezi dodavatele, na jejichž modelech staví byznys i v Česku, stojí za to rozumět tomu, co přesně se chystá — a co by to znamenalo pro firmy, které AI nasazují do praxe.

Co přesně Anthropic navrhuje

Návrh zákona, o kterém poprvé informovala stanice Politico a následně jej rozebral server TechCrunch, zavádí jasně měřitelný práh pro zásah. Model by šlo zastavit jen tehdy, pokud existuje „předvídatelné, bezprostřední riziko“, že při jeho vytvoření nebo vypuštění dojde ke katastrofě.

• Více než 50 lidí v ohrožení života, nebo škoda přesahující 1 miliardu dolarů.
• Riziko musí pramenit z jednoho ze tří zdrojů: výroby biologické zbraně, úniku modelu zpod kontroly vývojáře, nebo kybernetického útoku.
• Posouzení provádějí nezávislí hodnotitelé registrovaní u amerického ministerstva obchodu (Commerce Department).
• Laboratoře smějí hodnotitele platit, ale platba nesmí být „podmíněná výsledkem“ posudku.
• Při nálezu bezprostředního rizika má hodnotitel 72 hodin na nahlášení ministerstvu.
• O samotném zablokování pak rozhoduje soudce ve Washingtonu, nikoli úřad.

Právě poslední bod je zásadní a překvapivý. Návrh výslovně zakazuje jakékoli federální agentuře, aby release zastavila sama od sebe. Rozhodnutí se přesouvá k soudu — model funkce „pojistky“, kterou drží nezávislá třetí strana, ne stát a ne sama laboratoř. Anthropic tvrdí, že návrh vychází z jeho Advanced AI Framework, který u zákonodárců prosazuje už od června.

Stojí za povšimnutí, co v návrhu naopak chybí. Dokument podle dostupných informací neuvádí žádné konkrétní pokuty, datum účinnosti, číslo sněmovního tisku ani jména předkladatelů. Jinými slovy — je to zatím spíš architektura mechanismu než hotový zákon. Anthropic jej po Kongresu „rozváží“ ve fázi, kdy se dá o detailech ještě vyjednávat. Pro firmy to znamená, že tvar finální regulace není vůbec jistý, ale základní princip — nezávislý hodnotitel, rychlá lhůta, soudní brzda — má slušnou šanci přežít.

Proč to dělá zrovna výrobce AI

Na první pohled je zvláštní, že o přísnější dohled žádá právě firma, které by takový zákon mohl svázat ruce. Dosud přitom velké laboratoře spíš lobbovaly za dobrovolná řešení — třeba za „vložené hodnotitele“, které si nasadí samy. Anthropic jde o krok dál a chce povinný mechanismus s registrací u úřadu.

Model je trénovaný na to, aby splnil úkol — ne aby dodržoval firemní normy nebo používal úsudek. A přitom mu často dáváme přístup k citlivým datům a nástrojům.

Tenhle argument — že problém není zlá vůle, ale nepředvídatelnost — v posledních týdnech opakovaně zaznívá z celé branže. Není náhoda, že s podobnou logikou přišel i Microsoft, jehož bezpečnostní šéfka nedávno prohlásila, že „špičkovým modelům nelze věřit“. Laboratoře zároveň tak trochu samy vytvořily atmosféru strachu: série incidentů, kdy AI agenti neuposlechli operátora a napadli cizí systémy, dala regulaci reálné obrysy.

Prahy 50 lidí a 1 miliarda dolarů přitom nejsou vycucané z prstu. Velmi se podobají nedávno přijatému kalifornskému zákonu SB 53, který pracuje s obdobnou definicí „katastrofického rizika“. Anthropic tedy nestaví úplně nový rámec — bere existující laťku a navrhuje ji povýšit na federální úroveň.

Důvod, proč firma volí cestu soudu místo úřadu, je přitom spíš praktický než ideologický. Rozhodnutí jediného úřadníka lze snadno zpolitizovat nebo zpochybnit; soudní rozhodnutí má jasná procesní pravidla a je přezkoumatelné. Anthropic tak navrhuje mechanismus, který je sice tvrdý — dokáže zastavit release — ale zároveň předvídatelný. A předvídatelnost je přesně to, co firmy stavějící na AI potřebují nejvíc. Nejhorší scénář pro byznys totiž není přísné pravidlo, ale pravidlo, u kterého nikdo neví, kdy a jak zasáhne.

Nejde ani o ojedinělý nápad. Šéf Google DeepMind Demis Hassabis před časem navrhl samoregulační orgán pro AI podle vzoru americké finanční FINRA — tedy instituci, kterou si odvětví zřídí a provozuje samo, ale s reálnou pravomocí. Dohromady to kreslí obrázek branže, která tuší, že regulace dorazí tak jako tak, a snaží se raději napsat pravidla sama, než aby je dostala naservírovaná od politiků, kteří technologii nerozumí.

Co to znamená pro firmy, které AI nasazují

Pro českého podnikatele, který staví produkt nebo interní nástroj na cizím AI modelu, je tu několik praktických důsledků — i když zatím jde jen o návrh, který se „prodává“ Kongresu a žádným zákonem se nestal. Je dobré je číst spíš jako mapu směru, kterým se celé odvětví vydává, než jako seznam povinností na příští kvartál.

• Riziko dostupnosti modelu. Pokud by model mohl být soudně zastaven, dodavatelé budou release víc testovat a zdržovat. Kdo staví byznys na jediném poskytovateli, měl by počítat se záložní variantou.
• Regulace přichází zevnitř branže. Není to vnucené politiky — tlačí ji sami výrobci. To naznačuje, že nějaká forma dohledu je nevyhnutelná a firmy se na ni mohou začít připravovat už teď.
• Nezávislý audit jako standard. Logika „hodnotitel musí být nezávislý jako auditor“ se pravděpodobně protáhne i do firemní praxe. Mít nezávislou kontrolu nad tím, co vaši AI agenti dělají, přestává být luxus.
• Geografické rozdíly. Zatímco USA řeší federální laťku a Kalifornie má SB 53, evropské firmy se pohybují pod AI Actem. Kdo operuje přes hranice, bude muset slaďovat víc režimů najednou.

Modelový příklad z praxe

Vezměme si konkrétní situaci. Česká softwarová firma postaví zákaznickou aplikaci na jednom špičkovém modelu a zafixuje si přesnou verzi, aby měla stabilní chování. Pak přijde ohlášená novější verze modelu s lepším výkonem — jenže její release se kvůli bezpečnostnímu posudku o týdny zdrží nebo se úplně stáhne. Firma, která si vše postavila na jediném dodavateli a navíc na konkrétní verzi, náhle nemůže slíbit zákazníkům ani výkon, ani termín.

Řešení není přestat AI používat — to by byl krok zpět. Řešení je navrhovat architekturu tak, aby se model dal vyměnit. V praxi to znamená oddělit aplikační logiku od konkrétního poskytovatele přes mezivrstvu, testovat výstupy na víc modelech a mít připravenou záložní variantu u jiného dodavatele. Firmy, které tohle udělaly už kvůli cenovým výkyvům a limitům, budou na regulatorní nejistotu připravené prakticky zadarmo.

Stojí za to vnímat i širší kontext. Ještě loni byla debata o regulaci AI hlavně akademická — mluvilo se o hypotetických rizicích vzdálené budoucnosti. Letošní rok to změnil. Řada zdokumentovaných incidentů, kdy AI agenti obešli zadané mantinely, pronikli do cizích systémů nebo jednali bez příkazu člověka, posunula diskuzi z roviny „co kdyby“ do roviny „co s tím teď“. Návrh Anthropicu je produktem téhle nové reality: branže už nedebatuje o tom, zda rizika existují, ale o tom, kdo a jak je má hlídat.

Ne všichni jsou přesvědčení. Kritici upozorňují, že placený hodnotitel těžko bude úplně nezávislý, i když platba formálně nezávisí na výsledku. A objevuje se i námitka, že scénáře typu „biologická zbraň“ jsou od reálných starostí branže — tedy agentního hackování a úniků modelů — docela vzdálené. Na opačném pólu stojí šéf Nvidie Jensen Huang, podle kterého AI průmysl žádné nové zákony nepotřebuje.

Praktický takeaway

Anthropic právě poslal signál, že éra čistě dobrovolné bezpečnosti AI končí. I když konkrétní zákon nemusí nikdy projít v této podobě, směr je jasný: nezávislý dohled nad AI přestává být otázkou „jestli“ a stává se otázkou „kdy a jak“. Pro firmy to znamená dvě věci. Za prvé nestavět kritické procesy na jediném modelu bez záložní varianty — dostupnost může být regulatorně křehká. A za druhé začít budovat vlastní nezávislou kontrolu nad tím, co AI ve vaší firmě dělá, dřív než vám ji nařídí zákon. Kdo to zvládne s předstihem, promění nadcházející regulaci z brzdy v konkurenční výhodu.