Microsoft otestoval 19 AI modelů na reálné práci. Výsledek? Zničí čtvrtinu vašich dokumentů

Microsoft otestoval 19 AI modelů na reálné práci. Výsledek? Zničí čtvrtinu vašich dokumentů

Firmy po celém světě svěřují umělé inteligenci stále složitější úkoly — od úprav smluv po správu účetních knih. Nový výzkum Microsoftu ale ukazuje, že i ty nejlepší modely tiše poškozují dokumenty, na kterých pracují. A čím déle pracují, tím hůř.

Představte si, že svěříte asistentovi důležitou smlouvu s pokynem: „Uprav formátování, rozděl podle kategorií a zkontroluj čísla.“ Za hodinu vám vrátí dokument, který vypadá perfektně. Jenže když se podíváte pozorně, zjistíte, že čtvrtina údajů je pryč nebo změněná. Přesně to se děje, když necháte pracovat AI modely na delších úkolech — a teď to potvrdil rozsáhlý výzkum přímo z laboratoří Microsoftu.

Tým výzkumníků Philippe Labana, Tobiase Schnabela a Jennifer Neville z Microsoft Research publikoval studii s výmluvným názvem „LLMs Corrupt Your Documents When You Delegate“ — tedy „Jazykové modely poškozují vaše dokumenty, když jim delegujete práci.“ A výsledky jsou alarmující pro každého, kdo plánuje nechat AI agenty pracovat bez dozoru.

Stres test přes 52 profesních oborů

Výzkumníci vytvořili benchmark s názvem DELEGATE-52, který simuluje reálné pracovní situace napříč 52 profesními obory — od účetnictví přes softwarové inženýrství až po krystalografii nebo hudební notaci. Celkem benchmark obsahuje 310 pracovních prostředí, každé s reálnými dokumenty o délce přibližně 15 000 tokenů a sadou 5 až 10 komplexních editačních úkolů.

Metodika je důmyslná. Každý úkol má svůj přesný opak — například instrukce „rozděl účetní knihu podle kategorií výdajů“ je spárována s inverzním příkazem „sluč všechny kategorie zpět do jednoho souboru.“ Model provede úpravu dopředu, pak pozpátku, a výzkumníci změří, kolik obsahu zůstalo nepoškozeno. Celý test simuluje 20 po sobě jdoucích interakcí — přibližně tolik, kolik by AI agent zvládl za jeden pracovní den.

https://noviny.ai/api/admin/images/ac98c0b2-7976-4df2-86f1-bc18b758b8f7/data

Čtvrtina obsahu pryč — a to u těch nejlepších

Výzkumníci otestovali 19 různých jazykových modelů od společností OpenAI, Anthropic, Google, Mistral, xAI a Moonshot. Výsledky jsou střízlivé. Průměrná degradace dokumentů napříč všemi modely dosáhla 50 %. To znamená, že po 20 interakcích zůstala v dokumentech jen polovina původního obsahu v původní podobě.

I ty nejlepší modely na trhu — Gemini 3.1 Pro, Claude 4.6 Opus a GPT 5.4 — poškodily v průměru 25 % obsahu dokumentů. Nejlepší model v testu, Gemini 3.1 Pro, dosáhl dostatečné spolehlivosti pouze v 11 z 52 testovaných oborů. Jediný obor, kde většina modelů obstála na výbornou? Programování v Pythonu — s degradací pod 1 %.

Klíčové zjištění ale leží v mechanismu selhání. Nejde o postupné hromadění drobných chyb, jak by člověk čekal. Celých 80 % veškeré degradace způsobují náhlé katastrofické selhání — jediná interakce, při které model najednou ztratí nebo přepíše více než 10 % dokumentu. Špičkové modely tyto katastrofy pouze oddalují do pozdějších kol, ale nezabraňují jim.

Nejlepší modely nepřiznají chybu — přepíšou text tak, že ji nepoznáte

Možná nejznepokojivější je rozdíl v tom, jak různé modely selhávají. Slabší modely jednoduše mažou obsah — celé odstavce nebo sekce prostě zmizí. To je nepříjemné, ale snadno odhalitelné. Špičkové modely ale dělají něco mnohem zákeřnějšího: aktivně přepisují existující obsah. Text zůstává na místě, vypadá přirozeně, ale byl nenápadně pozměněn nebo obsahuje halucinace. Pro člověka kontrolujícího výstup je takovou chybu téměř nemožné odhalit.

„Modely nedokážou za pochodu napsat efektivní programy pro manipulaci se soubory v různých oborech bez chyb. Když něco neumí udělat programově, přistoupí k přečtení a přepsání celých souborů, což je méně efektivní a náchylnější k chybám,“ vysvětluje Philippe Laban, hlavní výzkumník studie z Microsoft Research.

Překvapivé je i zjištění o takzvaném „agentním“ režimu. Když výzkumníci dali modelům k dispozici nástroje pro spouštění kódu a práci se soubory — tedy přesně tu výbavu, kterou mají moderní AI agenti — výsledky se paradoxně zhoršily o dalších 6 procentních bodů. Důvodem je, že generické nástroje nejsou dostatečně přizpůsobené specifickým oborům.

https://noviny.ai/api/admin/images/e20c59e2-9fa1-4f6e-b512-7e1770a401a0/data

Co to znamená pro vaši firmu

Rok 2026 je označován za rok AI agentů. Firmy investují miliardy do automatizace pracovních procesů a tlačí na co nejrychlejší nasazení. Studie DELEGATE-52 ale přináší důležitou dávku střízlivosti. Neznamená to, že AI nemá v pracovních procesech místo — znamená to, že plná delegace bez lidského dohledu je zatím hazard.

Analytik Sanchit Vir Gogia z Greyhound Research to shrnuje výstižně: AI neselhává proto, že neumí psát. Selhává proto, že neumí zatím spolehlivě zachovávat integritu dokumentů. A to je pro podnikové prostředí, kde se pracuje se smlouvami, účetnictvím nebo compliance dokumenty, zásadní rozdíl.

Microsoft sám zdůrazňuje, že studie není argumentem proti používání AI v pracovních procesech. Je to diagnostický nástroj, který ukazuje, kde současné systémy potřebují další vývoj. Produkční systémy s orchestračními vrstvami, verifikačními postupy a lidským dohledem mohou tyto problémy výrazně zmírnit. Ale předpoklad, že stačí dát AI agentovi dokumenty a přijít si za hodinu pro výsledek? Ten zatím neplatí.