AI agenti ničí vaše dokumenty. Microsoft odhalil, že i nejlepší modely poškodí čtvrtinu obsahu

AI agenti ničí vaše dokumenty. Microsoft odhalil, že i nejlepší modely poškodí čtvrtinu obsahu

Představte si, že svěříte AI asistentovi úpravu důležitého firemního dokumentu. Po dvaceti krocích zjistíte, že čtvrtina obsahu je potichu přepsaná nebo zničená. Přesně to odhalil nový benchmark od Microsoft Research.

Pokud vaše firma experimentuje s AI agenty pro zpracování dokumentů, účetnictví nebo správu kódu, máme pro vás důležitou zprávu. Výzkumníci z Microsoft Research publikovali studii s názvem "LLMs Corrupt Your Documents When You Delegate", která přináší znepokojivé výsledky o spolehlivosti jazykových modelů při dlouhodobější práci s dokumenty.

Jejich nový benchmark DELEGATE-52 simuluje reálné pracovní scénáře ve 52 profesních doménách — od účetnictví přes softwarové inženýrství až po krystalografii nebo hudební notaci. Výsledek? I ty nejlepší modely na trhu — Gemini 3.1 Pro, Claude 4.6 Opus a GPT 5.4 — poškodí v průměru 25 % obsahu dokumentu po dvaceti po sobě jdoucích interakcích.

https://noviny.ai/api/admin/images/f158ab32-9de9-43b0-9e4a-6ae98b188cb9/data

Jak benchmark funguje a proč je důvěryhodný

DELEGATE-52 obsahuje 310 pracovních prostředí s reálnými dokumenty o rozsahu 2 000 až 5 000 tokenů. Každé prostředí zahrnuje pět až deset komplexních editačních úkolů. Klíčová inovace spočívá v metodě "round-trip relay" — každý úkol má svůj přesný inverzní protějšek. Model nejprve provede úpravu (například rozdělí účetní knihu podle kategorií výdajů) a poté dostane instrukci k opačné operaci (sloučit vše zpět).

Důležité je, že inverzní úkol probíhá v nové konverzační session — model tedy neví, že jde o test, a nemůže jednoduše stisknout "zpět". Jak vysvětlil Philippe Laban, vedoucí výzkumník projektu: "Modely nevědí, jestli provádějí dopředný nebo zpětný krok. Prostě se snaží každý úkol splnit co nejlépe."

Tato metoda umožňuje automaticky měřit, kolik obsahu se "ztratilo" bez nutnosti nákladného lidského hodnocení — jednoduše porovnáte výsledek s originálem.

Katastrofické selhání místo postupného opotřebení

Nejzajímavější zjištění studie? Degradace dokumentů neprobíhá postupně. Nejde o tisíc drobných chybiček, které se pomalu hromadí. Naopak — 80 % veškerého poškození způsobí náhlé katastrofické selhání, kdy model v jediné interakci ztratí nebo přepíše 10 až 30 % dokumentu.

U slabších modelů se poškození projevuje hlavně mazáním obsahu — části textu prostě zmizí. U špičkových modelů je situace zákeřnější: text zůstává na místě, ale je tiše přepsaný nebo zhallusinovaný. Pro člověka, který kontroluje výstup, je takřka nemožné tuto chybu odhalit bez přímého porovnání s originálem.

Ze všech 52 testovaných domén pouze programování v Pythonu splnilo práh spolehlivosti 98 %. Nejlepší model v testu, Gemini 3.1 Pro, dosáhl připravenosti pouze v 11 z 52 domén. V oblastech jako fikce, finanční výkazy nebo recepty modely selhávaly dramaticky.

https://noviny.ai/api/admin/images/75cd2a11-486b-41e6-9cea-cd69f3949b92/data

Nástroje paradoxně zhoršují výsledky

Překvapivým zjištěním je, že poskytnutí AI agentům přístupu k nástrojům — souborovému systému, spouštění kódu — výsledky nezlepšilo, ale zhoršilo o průměrných 6 %. Důvod? Modely se pokoušejí psát programy pro manipulaci se soubory "za letu" a často v tom selhávají. Když nemohou úkol vyřešit programově, přepíšou celý soubor ručně, což generuje další chyby.

Philippe Laban doporučuje vývojářům budovat úzce specializované nástroje pro konkrétní domény místo spoléhání na generické agentní prostředí. Například specifickou funkci pro přesun položek v účetní knize místo obecného přístupu k souborům.

Co to znamená pro vaši firmu

Studie nepřímo potvrzuje to, co mnozí podnikatelé tuší: přístup "nastav a zapomeň" u AI agentů nefunguje. Pokud svěřujete AI iterativní práci s důležitými dokumenty — ať už jde o smlouvy, finanční výkazy nebo technickou dokumentaci — potřebujete:

Současné jazykové modely nejsou spolehlivými delegáty pro komplexní, dlouhodobé pracovní postupy, kde je integrita dokumentu zásadní. — Philippe Laban, Microsoft Research

Studie zároveň ukazuje cestu vpřed. Výzkumníci volají po pokrocích v workflow-aware trénování (modely naučené pracovat s dokumenty v kontextu dlouhých řetězců úkolů), lepších paměťových systémech a robustnějších agentních architekturách. Benchmark DELEGATE-52 je dostupný jako open-source na GitHubu, takže na něm mohou stavět další výzkumné týmy.

Pro české firmy, které právě investují do AI automatizace, je poselství jasné: AI agenti jsou mocný nástroj, ale ne bezúdržbový autopilot. Kdo to pochopí dříve, ušetří si drahé chyby v ostrém provozu.