Konec nakupování AI podle žebříčků. Firmy zjistily, že tabulky lžou a testují modely na svých datech

Konec nakupování AI podle žebříčků. Firmy zjistily, že tabulky lžou a testují modely na svých datech

Veřejné žebříčky, které řadí jazykové modely podle skóre v testech, přestávají firmám stačit jako podklad pro nákup. Benchmarky se dají obcházet i uměle vylepšovat a chybovost jejich anotací někdy přesahuje polovinu. Podle dat od zákazníků Databricks se největší firemní kupci přeorientovali od honby za nejchytřejším modelem ke kontrole nad náklady. Praktický návod, jak vybírat AI model, aby se vyplatil.

Roky platilo jednoduché pravidlo: chcete-li vybrat nejlepší model umělé inteligence, podíváte se do žebříčku. Veřejné tabulky jako Artificial Analysis Intelligence Index nebo srovnávací arény seřadily modely podle skóre v desítkách testů a firmy podle nich vybíraly, na kterého dodavatele vsadit. Tahle éra podle všeho končí. Podle analýz i dat od firemních zákazníků se největší kupci AI přestávají řídit veřejnými žebříčky — a začínají modely testovat po svém.

Důvod je prostý: žebříčky přestaly být spolehlivé. Testy, na kterých modely soutěží, se dají obcházet i cíleně přeučovat, takzvaná kontaminace benchmarků je dnes rozšířený problém a chybovost v anotacích některých testů podle odborníků přesahuje i 50 procent. Model, který vede tabulku, tak nemusí být ten, který nejlépe zvládne konkrétní úkol ve vaší firmě. Vysoké skóre v obecném testu a skutečná užitečnost v provozu jsou dvě různé věci.

Proč tabulky přestaly fungovat

Problém s veřejnými žebříčky má několik vrstev. Tou první je kontaminace: pokud se testovací otázky dostanou do trénovacích dat modelu, model si je fakticky zapamatuje a v testu exceluje, aniž by uměl řešit obdobné úlohy, které nikdy neviděl. Druhou vrstvou je cílená optimalizace — vývojáři vědí, na jakých testech se bude měřit, a mohou model ladit přímo na ně. Výsledkem je skóre, které vypadá skvěle na papíře, ale neodpovídá reálnému nasazení.

Třetí a možná nejzávažnější vrstvou je kvalita samotných testů. Když více než polovina anotací v některých benchmarcích obsahuje chyby, ztrácí srovnání smysl. Firmy, které podle takových žebříčků vybíraly, pak často zjistily, že „nejchytřejší" model podle tabulky jim v praxi dělá víc chyb, běží pomaleji nebo stojí násobně víc než skromnější konkurent.

https://noviny.ai/api/admin/images/dbac21eb-17c3-45a6-ab8c-c8df47ff339a/data

Nový standard: pilot na vlastních datech

Náhradou za slepé spoléhání na žebříčky se stává jednoduchý princip: otestujte si model sami, na vlastních datech a na vlastních úlohách. Místo jediného čísla z tabulky hodnotí firemní kupci modely podle několika praktických rozměrů, které dohromady dávají realistický obrázek o tom, zda se nasazení vyplatí. Mezi ty nejdůležitější patří:

Míra dokončení úkolu — jak často model skutečně vyřeší zadání až do konce, ne jen zčásti|Přesnost a míra halucinací — kolik odpovědí je věcně správných a jak často si model vymýšlí|Latence — jak rychle model odpovídá, což je klíčové u zákaznických aplikací v reálném čase|Náklady na úkol — kolik reálně stojí jeden vyřešený požadavek, ne cena za tisíc tokenů v ceníku|Spokojenost uživatelů — jak výstup hodnotí lidé, kteří s ním reálně pracují|Důkazy z reálného nasazení — zda model už někde běží v produkci a s jakými výsledky

Rozdíl oproti žebříčkům je zásadní. Zatímco tabulka měří obecnou inteligenci modelu, tenhle přístup měří jeho užitečnost pro konkrétní úkol konkrétní firmy. Model, který skončí pátý v globálním žebříčku, může být pro vaše potřeby jasně nejlepší volbou — levnější, rychlejší a spolehlivější na přesně tom typu práce, který potřebujete.

Firmy neřeší chytřejší modely, ale kontrolu nákladů

Ještě výraznější posun ukazují data od poskytovatele datových platforem Databricks, jehož hodnota letos vyšplhala na 188 miliard dolarů a na kterém podle firmy běží velká část největších světových společností. Ty podle Databricks primárně nežádají výkonnější modely — chtějí lepší kontrolu nad těmi, které už mají. Konkrétně jde o přiřazení nákladů k jednotlivým týmům a projektům, směrování úloh na nejvhodnější model, bezpečnostní pojistky a firemní rozhraní, přes která můžou s AI pracovat i netechničtí zaměstnanci.

S kontrolou nákladů souvisí i další výrazný trend: nástup levnějších otevřených modelů. Databricks se stal jedním z příkladů firem, které kvůli úspoře nákladů sáhly po open-weight modelech — včetně čínských. Otevřené modely jako řada GLM dnes podle firmy zvládnou i náročné úlohy třeba v programování za výrazně nižší celkovou cenu než uzavřené modely od Anthropicu nebo OpenAI. Pro velké nasazení, kde se počítá každý haléř za dotaz, může být rozdíl v ceně rozhodující.

https://noviny.ai/api/admin/images/7598d61a-e3ee-4c78-b1c8-791de48d4225/data

Co to znamená pro české firmy

Pro české podnikatele je tenhle posun možná praktičtější než jakákoli zpráva o novém rekordním modelu. První a nejdůležitější poučení zní: nevybírejte AI model podle žebříčku. Než se rozhodnete, na kterém modelu postavíte firemní nástroj, udělejte si malý pilotní test na vlastních datech a na úlohách, které budete reálně řešit. I hodina práce strávená porovnáním dvou tří modelů na konkrétním zadání vám řekne víc než jakákoli globální tabulka.

Druhé poučení se týká nákladů. Cena za tisíc tokenů v ceníku je zavádějící údaj. To, co rozhoduje o rentabilitě, je náklad na jeden dokončený úkol — a ten závisí na tom, kolik pokusů model potřebuje, jak dlouhé odpovědi generuje a kolikrát ho musíte opravovat. Levnější model, který úlohu vyřeší napoprvé, může být ve výsledku výhodnější než dražší model, který se k výsledku doklopýtá přes tři pokusy.

Třetí poučení je o otevřených modelech. Pro menší a střední firmy jsou dnes open-weight modely reálnou alternativou, ne jen kompromisem. Umožňují držet data doma, nezávislost na jediném dodavateli a u velkých objemů výrazně nižší náklady. Nemusíte hned budovat vlastní infrastrukturu — řada poskytovatelů dnes nabízí otevřené modely jako hotovou službu za zlomek ceny prémiových uzavřených modelů.

Shrnuto: éra, kdy stačilo koupit model z čela žebříčku a spolehnout se na to, že bude nejlepší, skončila. Nahrazuje ji přízemnější, ale zdravější přístup — testovat, měřit náklady na skutečný výsledek a vybírat model, který se vyplatí právě vaší firmě. Je to méně okázalé než honba za nejchytřejší AI, ale pro byznys je to ta správná otázka.

Zdroj: TechCrunch, analýzy srovnávání AI dodavatelů a data od společnosti Databricks o prioritách firemních kupců umělé inteligence.