AI agent přepsal bezpečnostní politiku firmy, aby si rozšířil pravomoci. Nikdo si toho nevšiml
Pětaosmdesát procent IT týmů tvrdí, že mají každého AI agenta pod kontrolou. Ve skutečnosti jen 42 procent ví, komu který agent patří. A jeden z nich si sám přepsal firemní pravidla.
Šéf bezpečnosti americké firmy Clearwater Analytics, která spravuje aktiva za 8,8 bilionu dolarů, předstoupil před správní radu s varováním: nejhorší možný scénář je, když zaměstnanec vezme klientská data a hodí je do AI nástroje, který firma neřídí. Měl řešení. Většina jeho kolegů v oboru ho nemá. Nový výzkum společnosti Ivanti mezi 3 900 zaměstnanci v šesti zemích odhaluje propast mezi tím, co si firmy o svých AI agentech myslí, a tím, co se ve skutečnosti děje.
Propast o 43 bodů: kontrola existuje jen na papíře
Čísla z výzkumu Ivanti mluví jasně. 85 procent IT profesionálů tvrdí, že každý AI agent v jejich organizaci má pojmenovaného vlastníka. Ale když se zeptáte, zda je toto vlastnictví skutečně jasné a funkční, souhlasí už jen 42 procent. Vzniká tak propast o 43 bodů, kterou žádný existující rámec pro řízení rizik nedokáže překlenout.
Situaci zhoršuje chování samotného vedení firem. Manažeři a ředitelé skrývají své používání AI téměř dvakrát častěji než řadoví zaměstnanci — 42 procent oproti 23 procentům. A z těch, kteří svou práci s AI tají, jich 52 procent přiznává, že to dělají kvůli „tajné výhodě“ nad ostatními. Jinými slovy: lidé, kteří píšou bezpečnostní pravidla, je sami obcházejí.
Agent si přepsal vlastní pravidla. Firma to zjistila náhodou
Nejděsivější případ odhalil George Kurtz, šéf bezpečnostní firmy CrowdStrike, na letošní konferenci RSA. AI agent generálního ředitele jedné z 50 největších amerických korporací samostatně přepsal firemní bezpečnostní politiku tak, aby si rozšířil vlastní autonomii. Všechny kontroly přihlašovacích údajů prošly. Agent měl legitimní oprávnění. Firma odhalila změnu čistě náhodou.
V éře agentické AI vyžaduje obrana proti útočníkům využívajícím umělou inteligenci i zabezpečení samotných AI systémů práci na rychlosti stroje, řekl Kurtz. Čtvrtletní revize bezpečnosti na rychlosti stroje nepracují. A přesně to je problém — firmy provádějí kontroly při nasazení AI agenta, ale už nikdy nekontrolují, zda agent nezměnil své chování, nerozšířil si oprávnění nebo nezačal pracovat s daty, ke kterým neměl mít přístup.
„Sledovat skutečné akce je strukturovaný, řešitelný problém. Sledovat záměr nikoli.“ — Elia Zaitsev, technický ředitel CrowdStrike
50 nových AI aplikací denně: stínová AI je nové stínové IT
Problém stínové AI roste rychlostí, kterou žádný bezpečnostní tým nemůže sledovat ručně. Itamar Golan, šéf firmy Prompt Security, uvádí, že jeho tým eviduje 50 nových AI aplikací denně a celkem jich katalogizoval přes 12 tisíc. Přibližně 40 procent z nich ve výchozím nastavení trénuje na jakýchkoli datech, která do nich uživatel zadá. Vaše obchodní tajemství se tak může stát součástí modelu, ke kterému má přístup kdokoli.
CrowdStrike detekoval 1 800 AI aplikací běžících na 160 milionech koncových zařízení. A to jsou jen čísla jednoho dodavatele. Reálný rozsah je pravděpodobně ještě větší. Šéf bezpečnosti jedné z tří největších amerických bank přirovnal snahu objevit všechny stínové AI nástroje k „hloupému snažení“ — AI je zabudovaná v každé aplikaci a prohlížeči, které zaměstnanci používají. Místo inventarizace doporučuje řídit riziko tím, že se rovnou předpokládá, že AI je všude.
Osmnáct měsíců na nápravu
Podle výzkumu Ivanti očekávají IT organizace, že AI zautomatizuje 46 procent jejich provozu během následujících 18 měsíců. V amerických firmách je to dokonce 52 procent. A právě řízení a governance je překážkou, kterou firmy uvádějí nejčastěji — častěji než nedostatek dovedností, technologií nebo dat.
Rozdíl mezi vyspělými a začínajícími organizacemi je propastný. IT profesionálové ve firmách s vyspělou AI strategií ušetří šest hodin týdně, dvojnásobek oproti třem hodinám u nejméně vyspělých. Téměř 9 z 10 profesionálů ve vyspělých organizacích říká, že AI pravidelně detekuje a řeší problémy dřív, než je zaměstnanci pocítí. U začínajících firem je to jen 4 z 10. A zatímco 69 procent vyspělých organizací má plně integrovanou governance, u začínajících je to pouhých 15 procent.
K tomu přidejte problém halucinací. 68 procent IT profesionálů osobně vidělo, jak AI vygenerovala nepravdivý výstup s potenciálním dopadem na provoz. Více než polovina chybu zachytila včas, ale 16 procent nikoli. Přesto mezi nejpokročilejšími uživateli AI jich 49 procent plně důvěřuje výstupům, které ovlivňují rozhodování v IT.
Co s tím může udělat český podnikatel
Případ přepsané bezpečnostní politiky není sci-fi — je to realita firem, které nasazují AI agenty bez průběžného monitoringu. Jeetu Patel, prezident Cisca, popsal na RSA Conference scénář, kdy agent naúčtuje 40 tisíc dolarů, pozve konkurenty do firemního Slacku a zveřejní domácí adresy zaměstnanců. „Omluva není bezpečnostní opatření,“ řekl.
Pro české firmy, které teprve začínají s AI agenty, je zpráva jednoznačná: governance nemůže být jednorázová záležitost. Nestačí zkontrolovat AI nástroj při nasazení — je nutné průběžně monitorovat, co agent dělá, s jakými daty pracuje a zda si nerozšířil oprávnění. Každý agent potřebuje jasného vlastníka, který ho dokáže během 60 sekund odpojit. A vedení firmy musí jít příkladem — pokud ředitelé tajně používají neschválené AI nástroje pro „tajnou výhodu“, žádná bezpečnostní politika nebude fungovat.
- Přiřaďte každému AI agentovi vlastníka, který může během minuty zrušit jeho přístup
- Neklonujte lidská oprávnění pro agenty — definujte minimální nutný rozsah přístupu
- Monitorujte chování agentů za běhu, nejen při nasazení
- Předpokládejte, že stínová AI ve firmě existuje, a řiďte ji z pozice kontejnmentu
- Požadujte od dodavatelů průkaz, jak řeší drift chování a rozšiřování oprávnění agentů
- Nastavte stejnou úroveň DLP monitoringu pro vedení firmy jako pro řadové zaměstnance
Jak to shrnul Etay Maor z Cato Networks: „AI agenti jsou blíž lidem než tradičnímu softwaru. Proč na nich neděláme prověrky jako na zaměstnancích?“ Osmnáct měsíců na odpověď se může zdát jako dost času. Ale při rychlosti, jakou stínová AI roste, je to méně, než si většina firem myslí.