Microsoft otestoval 19 AI modelů na reálné práci. Výsledek? Zničí čtvrtinu vašich dokumentů
Firmy po celém světě svěřují umělé inteligenci stále složitější úkoly — od úprav smluv po správu účetních knih. Nový výzkum Microsoftu ale ukazuje, že i ty nejlepší modely tiše poškozují dokumenty, na kterých pracují. A čím déle pracují, tím hůř.
Představte si, že svěříte asistentovi důležitou smlouvu s pokynem: „Uprav formátování, rozděl podle kategorií a zkontroluj čísla.“ Za hodinu vám vrátí dokument, který vypadá perfektně. Jenže když se podíváte pozorně, zjistíte, že čtvrtina údajů je pryč nebo změněná. Přesně to se děje, když necháte pracovat AI modely na delších úkolech — a teď to potvrdil rozsáhlý výzkum přímo z laboratoří Microsoftu.
Tým výzkumníků Philippe Labana, Tobiase Schnabela a Jennifer Neville z Microsoft Research publikoval studii s výmluvným názvem „LLMs Corrupt Your Documents When You Delegate“ — tedy „Jazykové modely poškozují vaše dokumenty, když jim delegujete práci.“ A výsledky jsou alarmující pro každého, kdo plánuje nechat AI agenty pracovat bez dozoru.
Stres test přes 52 profesních oborů
Výzkumníci vytvořili benchmark s názvem DELEGATE-52, který simuluje reálné pracovní situace napříč 52 profesními obory — od účetnictví přes softwarové inženýrství až po krystalografii nebo hudební notaci. Celkem benchmark obsahuje 310 pracovních prostředí, každé s reálnými dokumenty o délce přibližně 15 000 tokenů a sadou 5 až 10 komplexních editačních úkolů.
Metodika je důmyslná. Každý úkol má svůj přesný opak — například instrukce „rozděl účetní knihu podle kategorií výdajů“ je spárována s inverzním příkazem „sluč všechny kategorie zpět do jednoho souboru.“ Model provede úpravu dopředu, pak pozpátku, a výzkumníci změří, kolik obsahu zůstalo nepoškozeno. Celý test simuluje 20 po sobě jdoucích interakcí — přibližně tolik, kolik by AI agent zvládl za jeden pracovní den.
Čtvrtina obsahu pryč — a to u těch nejlepších
Výzkumníci otestovali 19 různých jazykových modelů od společností OpenAI, Anthropic, Google, Mistral, xAI a Moonshot. Výsledky jsou střízlivé. Průměrná degradace dokumentů napříč všemi modely dosáhla 50 %. To znamená, že po 20 interakcích zůstala v dokumentech jen polovina původního obsahu v původní podobě.
I ty nejlepší modely na trhu — Gemini 3.1 Pro, Claude 4.6 Opus a GPT 5.4 — poškodily v průměru 25 % obsahu dokumentů. Nejlepší model v testu, Gemini 3.1 Pro, dosáhl dostatečné spolehlivosti pouze v 11 z 52 testovaných oborů. Jediný obor, kde většina modelů obstála na výbornou? Programování v Pythonu — s degradací pod 1 %.
Klíčové zjištění ale leží v mechanismu selhání. Nejde o postupné hromadění drobných chyb, jak by člověk čekal. Celých 80 % veškeré degradace způsobují náhlé katastrofické selhání — jediná interakce, při které model najednou ztratí nebo přepíše více než 10 % dokumentu. Špičkové modely tyto katastrofy pouze oddalují do pozdějších kol, ale nezabraňují jim.
Nejlepší modely nepřiznají chybu — přepíšou text tak, že ji nepoznáte
Možná nejznepokojivější je rozdíl v tom, jak různé modely selhávají. Slabší modely jednoduše mažou obsah — celé odstavce nebo sekce prostě zmizí. To je nepříjemné, ale snadno odhalitelné. Špičkové modely ale dělají něco mnohem zákeřnějšího: aktivně přepisují existující obsah. Text zůstává na místě, vypadá přirozeně, ale byl nenápadně pozměněn nebo obsahuje halucinace. Pro člověka kontrolujícího výstup je takovou chybu téměř nemožné odhalit.
„Modely nedokážou za pochodu napsat efektivní programy pro manipulaci se soubory v různých oborech bez chyb. Když něco neumí udělat programově, přistoupí k přečtení a přepsání celých souborů, což je méně efektivní a náchylnější k chybám,“ vysvětluje Philippe Laban, hlavní výzkumník studie z Microsoft Research.
Překvapivé je i zjištění o takzvaném „agentním“ režimu. Když výzkumníci dali modelům k dispozici nástroje pro spouštění kódu a práci se soubory — tedy přesně tu výbavu, kterou mají moderní AI agenti — výsledky se paradoxně zhoršily o dalších 6 procentních bodů. Důvodem je, že generické nástroje nejsou dostatečně přizpůsobené specifickým oborům.
Co to znamená pro vaši firmu
Rok 2026 je označován za rok AI agentů. Firmy investují miliardy do automatizace pracovních procesů a tlačí na co nejrychlejší nasazení. Studie DELEGATE-52 ale přináší důležitou dávku střízlivosti. Neznamená to, že AI nemá v pracovních procesech místo — znamená to, že plná delegace bez lidského dohledu je zatím hazard.
Analytik Sanchit Vir Gogia z Greyhound Research to shrnuje výstižně: AI neselhává proto, že neumí psát. Selhává proto, že neumí zatím spolehlivě zachovávat integritu dokumentů. A to je pro podnikové prostředí, kde se pracuje se smlouvami, účetnictvím nebo compliance dokumenty, zásadní rozdíl.
- Nechte AI pracovat pod dohledem. Zavádějte průběžné kontrolní body místo jediné finální revize. Studie ukazuje, že chyby se kumulují — čím později je zachytíte, tím více jich bude.
- Používejte specializované nástroje. Generické AI agenty nahraďte doménově specifickými řešeními. Model s přístupem ke správným nástrojům pro konkrétní obor bude spolehlivější než univerzální agent.
- Zálohujte originály. Před každou AI úpravou důležitého dokumentu vytvořte verzi, ke které se můžete vrátit. Verzování není luxus, je to nutnost.
- Testujte na vlastních datech. Benchmark DELEGATE-52 je volně dostupný na GitHubu. Než nasadíte AI agenta na kritické procesy, ověřte jeho spolehlivost na vašich reálných dokumentech.
- Nezbavujte se odborníků. Lidé, kteří dokážou odhalit chyby AI, jsou často ti samí, které firmy chtějí nahradit. Bez doménové expertízy ale nikdo nepozná, kdy AI tiše poškodil důležitý dokument.
Microsoft sám zdůrazňuje, že studie není argumentem proti používání AI v pracovních procesech. Je to diagnostický nástroj, který ukazuje, kde současné systémy potřebují další vývoj. Produkční systémy s orchestračními vrstvami, verifikačními postupy a lidským dohledem mohou tyto problémy výrazně zmírnit. Ale předpoklad, že stačí dát AI agentovi dokumenty a přijít si za hodinu pro výsledek? Ten zatím neplatí.