Firmy nasadily pojistku proti chybám AI. Počet hlášených selhání se zdvojnásobil
Podniky investují miliony do takzvaných kontextových vrstev, které mají zabránit AI agentům v sebejistém podávání mylných odpovědí. Nový průzkum mezi stovkou firem ale odhalil paradox: organizace s touto pojistkou hlásí chyby dvakrát častěji než ty bez ní. Vysvětlení je překvapivě jednoduché a pro každého, kdo nasazuje umělou inteligenci ve firmě, naprosto zásadní.
Když firma nasadí AI agenta pro zákaznický servis, analýzu dat nebo automatizaci interních procesů, musí mu nějak vysvětlit, co firemní data znamenají. Jestli obrat zahrnuje DPH nebo ne. Jestli je dokument aktuální nebo zastaralý. Jestli metrika konverze v marketingovém oddělení znamená totéž co v obchodním. Přesně k tomu slouží takzvaná kontextová vrstva. Jde o sdílenou, řízenou sadu definic a pravidel, ze které AI agent čerpá místo toho, aby si odpovědi domýšlel z obecných znalostí svého jazykového modelu.
Paradox kontroly: čím víc měříte, tím víc chyb najdete
Červencový průzkum VB Pulse mezi 101 kvalifikovanými podniky s více než stem zaměstnanců přinesl znepokojivá čísla. Za posledních šest měsíců 68 % firem zaznamenalo situaci, kdy jejich AI agent podal sebejistou, ale fakticky chybnou odpověď a příčinu vysledovaly k chybějícímu nebo nekonzistentnímu byznysovému kontextu. V červnovém průzkumu to bylo 57 %. Opakovaná selhání vzrostla z 31 % na 37 %. Místo poklesu tedy trvalý nárůst.
Ještě překvapivější je ale rozdíl mezi firmami, které kontextovou vrstvu mají, a těmi bez ní. Podniky s řízenou kontextovou vrstvou hlásí opakované selhání AI agentů v 50 % případů. Firmy bez ní jen v 21 %. Na první pohled to vypadá, jako by pojistka proti chybám chyby zdvojnásobila. Ve skutečnosti se děje něco úplně jiného.
Kontextová vrstva nezpůsobuje chyby, způsobuje jejich viditelnost. Bez sdíleného referenčního bodu se AI agent mýlí úplně stejně. Jenže nikdo nedokáže vystopovat, proč se zmýlil. Chyba se připíše halucinaci modelu a jde dál. Teprve když existuje řízená vrstva definic, lze porovnat odpověď agenta s tím, co data skutečně znamenají. A tehdy se ukáže skutečný rozsah problému.
Data to potvrzují i v rozlišení podle velikosti. Velké podniky s více než tisícem zaměstnanců hlásí opakovaná selhání v 55 % případů, oproti 30 % u středních firem se 101 až 1 000 zaměstnanci. Přitom velké firmy mají kontextovou vrstvu v produkci méně často (24 % oproti 37 % u středních). Více lidí, kteří se ptají proč je tohle číslo špatně, znamená více odhalených chyb. Čistý záznam bez selhání není důkazem kvality. Je přinejmenším stejně pravděpodobné, že nikdo nekontroluje.
Je to stejný problém, jaký firmy mají třicet let — absence řízené datové analýzy. Teď s AI je to ale o řády větší chaos a bolest. — Kyle Nesbit, zakladatel Credible Data
Firmy nakupují bezpečnost, ale zapomínají na přesnost
Průzkum odhalil ještě jeden znepokojivý vzorec v tom, jak firmy k problému přistupují. Při výběru systému pro kontextovou vrstvu se řídí především řízením přístupu a oprávněními (24 %) a snadností napojení dat (24 %). Přesnost odpovědí, tedy vlastnost přímo spojená se sebejistými chybnými odpověďmi, skončila až na třetím místě s pouhými 15 %.
Paradoxně, jakmile je systém v provozu, firmy ho hodnotí primárně podle přesnosti. Správnost odpovědi je hlavní metrika úspěchu pro 38 % podniků, dvakrát více než druhé kritérium v pořadí, bezpečnost a řízení přístupu s 19 %. Jinak řečeno: firmy nakupují podle bezpečnosti, ale hodnotí podle přesnosti. A mezera mezi nákupním a hodnoticím kritériem je přesně tam, kde se rodí sebejisté chybné odpovědi.
K tomu přičtěte, že téměř každý pátý podnik (18 %) nedává svým AI agentům žádný strukturovaný kontext. Třináct procent spoléhá na jednoduché nacpání celých dokumentů přímo do kontextového okna modelu, pět procent nechává agenta pracovat výhradně s obecnými znalostmi. Oba přístupy jsou v podstatě sázka na štěstí.
Ani dominantní přístup, takzvané RAG (Retrieval-Augmented Generation), kterým kontext řeší 31 % firem, není spolehlivý. RAG funguje na principu vyhledávání textově podobných pasáží v databázi dokumentů. Jenže textová podobnost neznamená významovou shodu. Výzkumník Srijith Rajamohan z Redisu to vysvětlil na jednoduchém příkladu: máte větu Řím je blíž než Paříž a jinou Paříž je blíž než Řím. Při vyhledávání přes vektorové embeddingy systém nedokáže rozlišit, která je správná, protože obě obsahují stejná slova. A právě v této mezeře se rodí ty nejnebezpečnější chyby, odpovědi, které znějí naprosto přesvědčivě, ale jsou fakticky opačně.
Trh roste rychleji než infrastruktura
Adopce kontextových vrstev sice nabírá na tempu, ale výsledky za investicemi výrazně zaostávají. Celých 63 % podniků kontextovou vrstvu již staví nebo provozuje. Jenže pouze 32 % ji má skutečně v produkci, tedy ve stavu, kdy reálně funguje a agenti z ní čerpají. Dalších 31 % vrstvu pilotuje nebo teprve buduje, 20 % ji vyhodnocuje a 14 % nemá žádné plány ji zavádět.
Zajímavý je i pohled na strategii dodavatelského řetězce. Plných 79 % podniků plánuje kontextovou vrstvu provozovat alespoň částečně mimo zásobník jednoho poskytovatele, rozděleně mezi specializované nástroje nebo v explicitním mixu. Pouze 12 % chce konsolidovat vše u jednoho vendora. Analytik Constellation Research Michael Ni k tomu poznamenal, že kdo kontroluje běhový kontext, kontroluje rozhodovací vrstvu AI pro firemní data. A to je příliš strategická pozice na to, aby ji firma svěřila jedinému hráči.
Co by měl udělat český podnikatel
Pro firmy v Česku, které AI nasazují nebo o tom uvažují, z průzkumu vyplývají jasné a praktické závěry. Nepodléhejte iluzi, že vám k nasazení AI stačí dobrý model a firemní dokumenty. Bez řízené vrstvy definic bude agent čas od času podávat sebejisté nesmysly. A čím důležitější rozhodnutí na jeho odpovědi závisí, tím víc vás to bude stát.
- Čistý záznam bez chyb je varovný signál. Pokud vaše firma používá AI agenty a nikdo nikdy nenahlásil chybnou odpověď, s největší pravděpodobností to neznamená bezchybný provoz. Znamená to, že nikdo výstupy systematicky nekontroluje.
- RAG samo o sobě nestačí. Napojení dokumentové databáze je dobrý začátek, ale bez jasně stanoveného slovníku pojmů, metrik a byznysových pravidel bude agent dříve nebo později podávat věcně nesprávné, ale přesvědčivě znějící odpovědi.
- Při výběru nástrojů měřte přesnost, ne jen bezpečnost. Většina firem nakupuje kontextové vrstvy podle řízení přístupu, ale pak je hodnotí podle správnosti odpovědí. Zabudujte přesnost do kritérií výběru od samého začátku.
- Nedávejte klíče od kontextu jednomu dodavateli. Čtyři z pěti podniků v průzkumu plánují diverzifikaci. Kdo řídí kontext, řídí rozhodování AI, a to je příliš důležité na vendor lock-in.
Celkový obraz je jasný: umělá inteligence ve firmách nefunguje jako kouzelná skříňka, do které hodíte data a vypadnou správné odpovědi. Funguje spíš jako nový kolega, který je mimořádně schopný, ale potřebuje jasná pravidla, definice a kontrolu. Firmy, které to pochopí jako první a začnou chyby systematicky měřit místo ignorovat, budou mít náskok. Ty ostatní budou žít v příjemné iluzi bezchybnosti, dokud se něco nepokazí přesně tam, kde si to nemohou dovolit.