Microsoft odhalil: AI modely tiše ničí vaše dokumenty. Chyby jsou skoro neviditelné
Nová studie výzkumníků Microsoftu ukazuje alarmující zjištění: i ty nejlepší AI modely na světě poškodí čtvrtinu obsahu dokumentů, se kterými pracují. A dělají to tak nenápadně, že to lidský kontrolor většinou vůbec neodhalí. Co to znamená pro každou firmu, která dnes deleguje práci na AI?
Delegování práce umělé inteligenci je dnes běžnou realitou tisíců firem. Necháte AI zkontrolovat smlouvu, zpracovat účetní výkaz, přepsat interní dokumentaci nebo shrnout analytický report. A tady nastává problém, o kterém většina podnikatelů ani netuší.
Výzkumníci Microsoftu — Philippe Laban, Tobias Schnabel a Jennifer Neville — publikovali studii s názvem LLMs Corrupt Your Documents When You Delegate. Výsledky jsou znepokojující: i ty nejpokročilejší AI modely v testovacích podmínkách poškodily průměrně 25 procent obsahu dokumentů, se kterými pracovaly.
A to nejhorší? Tyto chyby nejsou vidět na první pohled. Slabší modely text rovnou mažou — to se pozná. Silné frontier modely jako Gemini, Claude nebo GPT jej přepisují, subtilně pozměňují, tiše zavádějí nepřesnosti. Výsledný dokument vypadá správně, čte se plynule — ale fakta v něm neodpovídají originálu.
Jak výzkum probíhal a co přesně zjistil?
Výzkumníci vytvořili benchmark nazvaný DELEGATE-52, který simuluje reálné pracovní prostředí. Zahrnuje 310 různých pracovních situací napříč 52 profesními obory — od finančního účetnictví přes softwarové inženýrství až po chemii nebo hudební notaci.
Každý testovací dokument měl 2 000 až 5 000 tokenů a AI modely dostávaly úkoly jako: rozděl tuto účetní knihu podle kategorií výdajů, uprav smlouvu podle nových podmínek, seřaď data podle priorit. Testovalo se celkem 19 modelů.
Výsledky jsou alarmující: frontierové modely — Gemini 3.1 Pro, Claude 4.6 Opus, GPT 5.4 — poškodily průměrně 25 procent obsahu dokumentů. Přes všechny modely pak průměrná degradace dosáhla 50 procent obsahu po 20 kolech úprav.
Ještě závažnější zjištění: 80 procent veškerého poškození nepřicházelo postupně, ale v podobě náhlých katastrofických výpadků, kdy model v jednom kole ztratil 10 až 30 procent dokumentu najednou.
Z celých 52 testovaných profesních oblastí splnila 98procentní práh spolehlivosti pouze jediná — programování v Pythonu. Ve zbývajících 80 procentech podmínek modely dokumenty závažně poškodily.
Poskytnutí agentických nástrojů nebo realistických rušivých dokumentů modelu jeho výkon ještě zhoršuje. Generické nástroje nejsou řešením a spolehlivost závisí na inherentních limitech samotného modelu.
Proč silnější modely dělají subtilnější chyby?
Tato část výzkumu je možná nejznepokojivější. Intuitivně bychom čekali, že lepší model znamená méně chyb a bezpečnější delegování. Jenže realita je opačná.
Slabší modely, když si nevědí rady, jednoduše smaží nebo ignorují části textu. To je viditelné a detekovatelné — chybějící odstavce nebo čísla jsou v revizi snadno odhalitelné.
Frontierové modely ale takto nefungují. Jsou tak sofistikované, že místo smazání obsah aktivně přepisují. Výsledek vypadá správně. Text je gramaticky bezchybný, logicky konzistentní, profesionálně formulovaný. A přitom obsahuje jiné číslo v klíčovém odstavci smlouvy, jinou sumu v účetním výkazu, jiný technický parametr v dokumentaci.
Researcher Laban to popsal takto: modely nevědí, zda dělají krok vpřed nebo vzad v experimentu. Jednoduše plní úkoly co nejlépe, jak dovedou — a v tom procesu tiše mění obsah, který jim byl svěřen.
Experiment dál ukázal, že přidání nástrojů nebo reálných rušivých dokumentů výkon modelů ještě zhoršilo o dalších 6 procent. Čím komplexnější pracovní prostředí, tím větší riziko.
Co to konkrétně znamená pro vaši firmu?
Podívejme se na konkrétní příklady z praxe, které studie implikuje.
Vaše firma používá AI pro revizi smluv. Model zpracovává 50stránkovou smlouvu, upravuje klauzule podle vašich pokynů. Ve čtvrtině případů tiše změní klíčový parametr — splatnost, sankci, rozsah plnění. Smlouva vypadá správně, váš právník ji přehlédne. O rok později spor.
Vaše účetní oddělení nechává AI zpracovat měsíční výkazy. Model data zpracuje, seřadí, sumarizuje. Ale v procesu pozmění tři řádky z dvaceti. Výsledná čísla nesedí s původními daty, ale zpráva jako celek vypadá konzistentně. Audit to odhalí — za cenu několika dní práce a stresu.
Vaši vývojáři delegují technickou dokumentaci na AI. Dokumentace vznikne rychle a čte se skvěle. Jenže jeden parametr API je popsán jinak, než jak funkce skutečně funguje. Nový vývojář podle dokumentace implementuje integraci — a ta nefunguje.
Studie nijak nezpochybňuje, že AI je pro tyto úkoly užitečná. Zpochybňuje ale jeden zásadní předpoklad: čistý výstup neznamená správný výstup.
Jak se bránit — praktické kroky
- Nikdy nespoléhejte na AI jako na finální zdroj pravdy u kritických dokumentů. AI je rychlý první asistent, ne auditor.
- Nastavte systém inkrementální revize: nechte AI pracovat po kratších sekvencích a každý krok ověřte proti originálu.
- Pro dokumenty s právním nebo finančním dopadem vždy provedte srovnání diff — porovnejte původní a AI-upravený dokument na úrovni specifických dat.
- Python a programovací kód jsou relativně bezpečná oblast (98 procent spolehlivost). Finanční, právní a vědecká dokumentace jsou nejvyšší riziko.
- Budujte interní procesy kolem principu: AI urychluje tvorbu, člověk ověřuje výsledek. Tato smyčka se při delegování nesmí ztratit.
- Nepřidávejte zbytečné agentické nástroje a rušivé dokumenty k úkolu, pokud to není nutné — každý z nich statisticky zhoršuje výsledek.
Výzkum má ještě jeden důležitý rozměr: poukazuje na to, jak tendujeme k přílišné důvěře v AI výstupy. Čím přesvědčivěji text vypadá a čte se, tím méně jsme ochotni ho zpochybnit. To je přesně ten mechanismus, kterého se studie dotýká.
Západní firmy v posledních dvou letech masivně investují do AI nástrojů pro znalostní práci. Banky, konzultantské společnosti, právní kanceláře, farmaceutické firmy. Tlak na automatizaci je enormní. Studie říká jednu jednoduchou věc: zrychlení zpracování je reálné, ale zrychlení bez ověřování je velmi nebezpečné.
Pro české firmy je toto varování zvlášť aktuální. Většina procesů AI integrace je teprve v začátcích. Je jednodušší nastavit správné procesní záruky teď, než je zavádět zpětně po prvním závažném incidentu. Studie není argumentem proti AI — je argumentem pro disciplínu při jejím nasazení.