AI agenti tichce ničí vaše dokumenty. Studie Microsoftu odhalila znepokojivou pravdu
Výzkumníci z Microsoftu otestovali 19 špičkových AI modelů na 52 profesních oblastech a zjistili něco znepokojivého: i ty nejlepší modely nenávratně poškodí průměrně čtvrtinu obsahu dokumentů, na kterých pracují. A nejhorší na tom je, že to uděláte s přesvědčením, že vše proběhlo správně.
Nasazujete AI agenty na zpracování firemní dokumentace? Chystáte se jim svěřit vyúčtování, smlouvy nebo technické specifikace? Zastavte se na chvíli. Nová studie výzkumníků z Microsoftu ukazuje, že to, co považujete za automatizovanou pomoc, může být ve skutečnosti tiché ničení vašich dat — a vy to vůbec nepoznáte.
Benchmark, který otřásl důvěrou v AI agenty
Výzkumný tým Microsoftu sestavil benchmark nazvaný DELEGATE-52 — sadu 310 pracovních prostředí pokrývajících 52 profesních oblastí od finančního účetnictví přes softwarové inženýrství až po hudební notaci. Na tomto benchmarku otestovali 19 různých jazykových modelů od OpenAI, Anthropic, Google, Mistral, xAI a Moonshot AI.
Postup byl důmyslný: každý model dostal reálný dokument (2 000 až 5 000 tokenů) a sérii 5 až 10 komplexních editačních úkolů. Každý úkol byl navržen jako obousměrný — model nejprve dokument upraví, a pak dostane přesně opačnou instrukci, aby ho vrátil do původního stavu. Výsledek odhaluje, nakolik model při práci zachoval věrnost původnímu obsahu.
Celková simulace čítala 20 po sobě jdoucích interakcí — přibližně standardní pracovní workflow, které by firemní AI agent mohl provést za jeden den.
Čtvrtina obsahu zmizí nebo se promění k nepoznání
Výsledky jsou tristní. Průměrná degradace dokumentů přes všechny testované modely dosáhla 50 % na konci simulace. I nejlepší frontier modely — konkrétně Gemini 3.1 Pro, Claude 4.6 Opus a GPT 5.4 — poškodily průměrně 25 % obsahu dokumentů.
Ještě znepokojivější je mechanismus tohoto selhání. Výzkumníci zjistili, že 80 % celkové degradace nezpůsobuje pomalé kumulování drobných chyb, ale náhlé katastrofické selhání v jediné interakci, kde model najednou zahodí nebo přepíše více než 10 % dokumentu.
A zde přichází ten nejnebezpečnější detail: slabší modely při selhání obsah mažou. Frontier modely ho přepisují. Text tam stále je, ale je subtilně zkreslený nebo vymyšlený. Lidský kontrolor, který rychle přehlédne dokument, chybu snadno přehlédne — vše vypadá strukturovaně a gramaticky správně. Jen obsah je jiný.
Modely jednoduše nemají schopnost na místě psát efektivní programy, které by dokázaly správně manipulovat soubory napříč různými doménami. Když se jim to programově nepovede, uchylují se ke čtení a přepisování celých souborů — a to je méně efektivní a náchylnější k chybám.
Agentické nástroje situaci zhoršují, ne zlepšují
Intuitivně byste možná čekali, že dát AI agentovi více nástrojů — například přístup ke spouštění kódu nebo čtení a zápis souborů — jeho výkon zlepší. Výzkum ukázal přesný opak: modely vybavené agentickými nástroji dopadly v průměru o dalších 6 % hůře než ty bez nich.
Proč? Protože modely se pokoušejí psát obecné skripty, které mají fungovat napříč velmi různorodými profesními doménami. Například jinak se pracuje s účetní tabulkou a jinak s hudební partiturou. Generické skripty selhávají, model pak sahá k nejistějšímu řešení — ručnímu přepisu celého souboru — a tam dělá chyby.
Jedinou výjimkou, kde modely podaly skutečně spolehlivý výkon, byl Python kód. Programátorské domény dosáhly skóre 98 % a výše. AI agenti jsou tedy výborní na psaní a refaktoring kódu, ale v přirozených jazycích — smlouvách, výkazech, receptech, obchodní korespondenci — selhávají.
Nejlepší testovaný model, Gemini 3.1 Pro, byl vyhodnocen jako spolehlivý pro delegovanou práci pouze v 11 z 52 testovaných domén. To je méně než 21 % pokrytí.
Co to znamená pro vaši firmu
Pokud jste si přečetli předchozí odstavce a říkáte si, že u vás to není problém, protože výstupy vždy kontrolujete — výzkum na to myslel. Právě frontier modely jsou nebezpečné tím, že jejich chyby vypadají jako správný výstup. Struktura je zachována, formátování sedí, věty dávají smysl. Jen fakta jsou jiná.
Pro podnikatele to má konkrétní důsledky v těchto scénářích:
- Finanční výkazy zpracované AI agentem mohou mít přeházené nebo vymyšlené položky, které standardní kontrola snadno přehlédne
- Právní smlouvy upravené AI mohou obsahovat subtilně pozměněné podmínky — stačí zaměnit odpovědnost dodavatele za odpovědnost odběratele
- Technické specifikace a výrobní dokumentace zpracované v dlouhém workflow mohou mít změněné parametry
- Zákaznická komunikace generovaná z interních dokumentů může citovat nesprávná čísla nebo podmínky
Výzkumníci Microsoftu nenabízejí jako řešení, abyste AI přestali používat — ale doporučují přístup, který je zatím drahý na implementaci: místo generických agentních nástrojů stavět úzce zaměřené, doménově specifické funkce. Například ne obecný příkaz pro úpravu souboru, ale přesnou instrukci pro přesunutí konkrétní položky v účetní tabulce konkrétního formátu. Čím přesnější instrukce a čím specializovanější nástroje, tím nižší degradace.
Do té doby platí jedno základní pravidlo: AI agenti jsou spolehliví asistenti, nikoli autonomní pracovníci. Každý výstup z delšího workflow musí projít lidskou kontrolou — ideálně od člověka, který zná původní dokument a může porovnat změny. Slepá důvěra v AI výstup je dnes bohužel stále příliš velké riziko.
Praktický takeaway: jak se bránit hned teď
- Nikdy nedávejte AI agentovi přístup k dokumentům, kde by změna bez vaší vědomosti mohla mít právní nebo finanční důsledky
- U kritických dokumentů vždy uchovávejte verzi před zpracováním AI — porovnání verzí odhalí změny, které oko přehlédne
- Testujte své AI workflow na syntetických datech před nasazením na reálné firemní dokumenty
- Preferujte kratší, atomické úlohy před dlouhými workflow — každý krok kontrolujte zvlášť
- U agentních nástrojů preferujte specializované funkce před obecným přístupem k souborovému systému
Studie Microsoftu není důvod k panice ani k odmítání AI agentů. Je to důvod ke zdravé skepsi a ke stavbě robustních procesů. Firmy, které to pochopí teď, se vyhnou nákladným chybám, které teprve přijdou — a budou mít před konkurencí zásadní výhodu: nejen rychlost, ale i spolehlivost.