Google naučil AI říkat „nevím“: průlomová metoda řeší největší problém umělé inteligence

Google naučil AI říkat „nevím“: průlomová metoda řeší největší problém umělé inteligence

Výzkumníci z Googlu představili techniku zvanou „věrná nejistota“, která umožňuje jazykovým modelům rozlišovat mezi tím, co vědí a co ne. Místo sebevědomých vymýšleností teď AI dokáže říct „nejsem si jistý, ale tipuji“. Pro firmy, které na AI stavějí byznys, je to zlomový okamžik.

Představte si lékaře, který vám s naprostou jistotou sdělí diagnózu — a je úplně vedle. Přesně takhle se dnes chovají jazykové modely jako ChatGPT nebo Claude. Odpovídají sebevědomě, i když nemají tušení. Google teď přichází s řešením, které by mohlo změnit způsob, jakým firmy umělou inteligenci používají.

Tým výzkumníků z Googlu publikoval studii popisující koncept takzvané „věrné nejistoty“ (faithful uncertainty). Jde o metakognitivní techniku, která slaďuje to, co model říká, s tím, jak si je ve skutečnosti jistý. Výsledek? AI, která místo vymýšlení přizná: „Nejsem si jistý, ale můj nejlepší odhad je…“

Proč AI vymýšlí a proč to firmy stojí miliony

Halucinace — tedy situace, kdy AI generuje sebevědomé, ale fakticky chybné odpovědi — jsou dnes největší překážkou masového nasazení umělé inteligence ve firmách. Problém není v tom, že by modely neměly dost znalostí. Problém je v tom, že neumějí rozlišit mezi tím, co vědí, a tím, co si domýšlejí.

Dosavadní přístupy k řešení halucinací fungují na principu „odpověz, nebo mlč“. Model buď odpoví, nebo odmítne. Jenže tohle má obrovskou cenu. Výzkumníci z Googlu spočítali, že pokud chcete snížit chybovost z 25 % na 5 %, musíte zahodit 52 % správných odpovědí. Více než polovina užitečných informací padne pod stůl jen proto, že model neumí vyjádřit pochybnost.

https://noviny.ai/api/admin/images/99fe602c-f83e-483f-9bab-558b5bdd35fa/data

„Většina praktických pokusů o snížení halucinací se nikdy nedostane do produkce,“ vysvětluje Gal Yona, výzkumník z Googlu a spoluautor studie. „Halucinace sice omezí, ale zároveň zničí užitečnost modelu, protože ten začne odmítat odpovídat i na věci, které ve skutečnosti zná.“

Věrná nejistota: AI, která ví, že neví

Klíčová inovace spočívá v přeformullování celého problému. Výzkumníci navrhují přestat považovat každou faktickou chybu za halucinaci. Halucinace je pouze chyba podaná s falešnou jistotou. Pokud model udělá chybu, ale zároveň ji označí slovy „nejsem si úplně jistý“, jde o hypotézu — nikoliv o lež.

Technika „věrné nejistoty“ vyžaduje, aby se jazyková nejistota modelu (slova, kterými vyjaďuje pochybnost) shodovala s jeho vnitřní statistickou jistotou (skutečnou mírou důvěry v odpověď). Model tedy nesype disclaimer ke všemu, ale hedguje pouze tehdy, když jeho interní stav skutečně odráží nízkou pravděpodobnost správné odpovědi.

Autoři studie to přirovnávají k důvěře, kterou máme k lékaři. „Nedůvěřujeme lékařům proto, že by byli vševědoucí,“ píší. „Důvěřujeme jim, protože spolehlivě rozlišují mezi jistou diagnózou a kvalifikovaným odhadem — a podle toho jednají.“

„Kapacita modelu je konečná, ale dlouhý chvost znalostí je v podstatě nekonečný. Proto potřebujeme, aby model uměl rozpoznat hranici svých vědomostí — a upřímně ji komunikoval.“ — Gal Yona, Google Research

Co to znamená pro firmy s AI agenty

Největší dopad má tato technika na takzvané agentické systémy — AI, které autonomně jednají, vyhledávají informace a používají nástroje. Dnes většina těchto systémů nemá spolehlivý způsob, jak poznat, kdy má model hledat v externí databázi a kdy může odpovědět z vlastních znalostí.

https://noviny.ai/api/admin/images/0a005b08-0523-4b23-b906-603238485c7f/data

„Model může hledat něco, co už sám spolehlivě zná — a zbytečně plýtvá časem a penězi. Nebo naopak: sebevědomě odpoví z paměti, když by měl ověřit — a výstup je chybný,“ upozorňuje Yona. Dnešní řešení typu „vždy hledej“ nebo „hledej podle klíčových slov“ jsou podle něj statická a křehká.

Věrná nejistota mění metakognici z přídavku na centrální řídící vrstvu celého systému. Agent, který ví, co neví, dokáže sám rozhodnout, kdy je bezpečné odpovědět a kdy je třeba sáhnout po externím zdroji. Pro firmy to znamená menší náklady na zbytečné API volání, méně chyb v automatizovaných procesech a vyšší důvěryhodnost AI výstupů.

Praktický dopad: konec „daně z halucinací“

Výzkumníci zavádějí pojem „daň z užitečnosti“ (utility tax) — cenu, kterou firmy platí za nulovou toleranci vůči halucinacím. Při současném přístupu „odpověz, nebo mlč“ musí firma obětovat obrovské množství správných odpovědí jen proto, aby eliminovala ty špatné. To v praxi znamená, že AI asistent, který by mohl být užitečný, je buď nespolehlivý, nebo nepoužitelně opatrný.

Věrná nejistota tuto daň dramaticky snižuje. Model nemusí volit mezi „všechno vím“ a „nic neřeknu“. Může říct: „Tohle vím jistě, a tohle je můj kvalifikovaný odhad.“ Vývojáři aplikací tak mohou nastavit různé úrovně důvěryhodnosti pro různé scénáře — přísný režim pro finanční data, volnější pro brainstorming.

Pro české podnikatele, kteří nasazují AI do zákaznického servisu, analýzy dokumentů nebo automatizace procesů, je to klíčová zpráva. Problém halucinací není nevyřešitelný — a jeho řešení nemusí znamenat ztrátu užitečnosti. Google ukazuje cestu, jak mít obojí: spolehlivost i produktivitu.

Studie zatím představuje teoretický rámec a experimentální výsledky. Než se „věrná nejistota“ dostane do komerčních produktů, bude to ještě chvíli trvat. Ale směr je jasný — a firmy, které s AI pracují, by si ho měly zapamatovat. Budoucnost AI nepatří modelům, které vědí všechno. Patří modelům, které vědí, co nevědí.