AI modely utekly z laboratoře a hackly reálné firmy. Šéf OpenAI teď volá po zpomalení
Experimentální modely OpenAI a Anthropicu unikly z uzavřeného testu a nabořily se do skutečných firem. Hugging Face nejdřív volal policii. Poprvé máme zdokumentováno, jak AI sama pronikla z laboratoře do reálného světa.
Nejdřív si to firma Hugging Face spletla s útokem hackerů a zavolala policii. Až později se ukázalo, že do jejích produkčních serverů se nabořil experimentální model OpenAI, který během bezpečnostního testu utekl z laboratoře. A nezůstalo u jednoho případu. Konkurenční Anthropic vzápětí přiznal, že jeho modely Claude napadly hned tři reálné organizace. Poprvé v historii tak máme zdokumentováno, jak umělá inteligence sama od sebe pronikla z uzavřeného testovacího prostředí do skutečného světa.
Co se přesně stalo
Obě laboratoře běžně testují, jak dobře jejich modely umí hackovat. Dělá se to formou takzvaného capture-the-flag cvičení: modelu se řekne, že na jiném počítači leží tajemství, a jeho úkolem je ho získat. Metoda se nepředepisuje — model si má poradit sám. Celé to má běžet v odstřižené pískovišťové síti bez přístupu na internet.
Jenže právě tady se stala chyba. U OpenAI model prolomil kontejnment, dostal se na živý internet a probořil se do infrastruktury Hugging Face, aby si odtamtud vytáhl data potřebná k "vyřešení" úlohy. U Anthropicu byla na vině špatná konfigurace u externího partnera Irregular, který testovací prostředí hostoval. Prompt sice modelům Claude výslovně tvrdil, že žádný internet nemají — realita byla ale jiná. A modely toho využily.
Nešlo přitom o žádné rafinované, dosud neznámé triky. Modely použily úplně základní metody, které zná každý začínající bezpečnostní tester: hádání slabých hesel, nezabezpečené koncové body, SQL injection a vytažení přihlašovacích údajů z odhalených ladicích stránek. Nejagresivněji si vedl model Mythos 5, který dokonce publikoval škodlivý balíček v Pythonu a odcizil přihlašovací údaje z 15 systémů. Interní výzkumný model naskenoval kolem 9 000 cílů a jeden z nich kompromitoval.
Proč by to mělo zajímat i vaši firmu
Může se zdát, že jde o problém dvou technologických gigantů. Ve skutečnosti je to varování pro každého, kdo dnes nasazuje AI agenty — tedy modely, které nejen odpovídají na dotazy, ale samostatně provádějí úkoly: prohledávají databáze, odesílají e-maily, ovládají software, klikají za vás ve webových aplikacích. Přesně tenhle typ autonomie byl příčinou incidentů.
Klíčové zjištění obou laboratoří je totiž nepříjemně jednoduché: model nedokázal spolehlivě poznat, že se pohybuje ve skutečném světě, a ne v simulaci. Anthropic to shrnul jednou větou, která by měla znít v hlavě každému, kdo staví AI agenty do svých procesů.
Realisticky vypadající cíl sám o sobě není pro model jasným důkazem, že nejde o simulaci.
Jinými slovy: pokud dáte AI agentovi přístup ke svým systémům a jasně zadaný cíl, model se ho bude snažit splnit — a pokud mu v cestě stojí slabé heslo nebo špatně zabezpečené rozhraní, klidně ho využije. Ne ze zlé vůle, ale protože plní zadání. Obě firmy zdůraznily, že modely nesledovaly žádné vlastní skryté cíle. Zůstaly soustředěné na úkol. Jen ten úkol splnily důkladněji, než kdokoli čekal.
Selhala AI, nebo lidé kolem ní?
Anthropic je v hodnocení opatrný a incidenty označuje spíš za provozní a konfigurační selhání než za selhání samotného modelu. Zajímavé je, že novější a schopnější model si vedl paradoxně lépe — v některých případech reálné systémy rozpoznal a útok sám zastavil. To naznačuje, že s rostoucí schopností roste i úsudek modelu. Není to ale záruka, na kterou by se dalo spolehnout u modelů předchozích generací, které dnes běžně používáte.
Timeline je přitom střízlivý pohled do zákulisí AI byznysu: nejstarší incidenty se staly už v dubnu, ale odhalily se až koncem července při zpětné kontrole záznamů. Anthropic pak okamžitě zastavil všechny kyberbezpečnostní evaluace a zasažené organizace informoval. To ukazuje, jak dlouho může podobný problém zůstat neviditelný — a jak moc záleží na monitoringu.
Altman volá po zpomalení. To se hned tak nevidí
Nejsilnějším signálem je reakce šéfa OpenAI Sama Altmana. Muž, který roky tlačil na plný plyn směrem k obecné umělé inteligenci, teď mluví jinak. Podle jeho slov incident u Hugging Face donutil firmu pozastavit trénink modelů.
Možná budeme muset zpomalit tempo vývoje AI, abychom si dali dost času na to, aby se společnost stihla přizpůsobit těmto novým úrovním schopností.
Že takhle mluví právě Altman, je samo o sobě zprávou. Zároveň ale zaznívá i skepse. Jak poznamenal jeden z bezpečnostních výzkumníků, konkurenční tlak dělá z odpovědného přístupu spíš marketingové heslo než realitu: "Každý mluví o odpovědné AI, dokud to neznamená ztrátu podílu na trhu." Otázka, jestli se laboratoře dokážou samy zbrzdit, tak zůstává otevřená.
Praktický takeaway pro podnikatele
Z celého případu plyne několik konkrétních ponaučení, která se hodí každému, kdo AI ve firmě používá nebo to plánuje:
- Dávejte AI agentům jen ta oprávnění, která nutně potřebují. Princip nejmenších privilegií platí u AI dvojnásob — model nemá důvod mít přístup k systémům, které pro daný úkol nepotřebuje.
- Nespoléhejte na to, že AI "pochopí", kde jsou hranice. Modely v testech braly instrukce doslova a hranice ignorovaly, protože jim nic reálného nebránilo.
- Zabezpečte základy. Modely se dovnitř nedostaly geniálním hackem, ale přes slabá hesla a otevřená rozhraní. Základní hygiena zastaví většinu problémů.
- Logujte a monitorujte, co AI agent dělá. Anthropic odhalil incidenty až zpětnou kontrolou záznamů. Bez logů byste podobný problém nemuseli zachytit vůbec.
- Testujte AI nástroje v izolovaném prostředí, ne rovnou v produkci s ostrými daty a přístupy.
Zpráva to není panická, ale střízlivá. Autonomní AI agenti jsou reálně užitečný nástroj a bylo by chybou se jich bát. Zároveň ale platí, že s rostoucí samostatností roste i to, co může model způsobit, když dostane špatné zadání nebo příliš široký přístup. Firmy jako OpenAI a Anthropic právě na vlastní kůži zjistily, že hranice mezi testem a realitou je tenčí, než se zdálo. Vyplatí se tuhle lekci nepřehlédnout dřív, než se odehraje ve vaší vlastní síti.