Drahý nástroj na AI kódování nedělá práci lépe. Jen trojnásobně zvyšuje účet

Nová studie porovnala populární nástroje pro AI kódování se stejným jazykovým modelem. Výsledek je nepříjemný pro každého, kdo platí za tokeny: úspěšnost řešení úloh se mezi nástroji liší jen o pár procent, ale náklady na jednu úlohu mohou vyskočit až na trojnásobek. Rozdíl, za který většina firem platí naslepo.

Pokud vaše firma nebo vývojáři používají některý z moderních nástrojů pro programování s umělou inteligencí — ať už je to Claude Code, OpenCode nebo jiný „agent" sedící nad jazykovým modelem — možná platíte výrazně víc, než musíte. A to za úplně stejný výsledek. Přesně to tvrdí nová studie dvou výzkumníků z čínské Shandong University, kterou tento týden popsal server The Decoder.

Zjednodušeně řečeno: AI kódovací agent se skládá ze dvou částí. Z vlastního jazykového modelu (ten dělá tu chytrou práci) a z takzvaného harnessu — obalu, který k modelu přidává systémové instrukce, nástroje pro práci se soubory a správu kontextu. Autoři studie udělali jednoduchou, ale odhalující věc: nechali stejný model řešit stejné úlohy, a měnili jen tento obal. A pak sledovali dvě čísla — kolik úloh se podařilo vyřešit a kolik to stálo.

Rozdíl v úspěšnosti? Prakticky žádný. Rozdíl v ceně? Až trojnásobný

Výsledek je pro marketing výrobců nepříjemný. Na souboru 447 testovacích úloh se úspěšnost jednotlivých nástrojů lišila o méně než dva procentní body. Jinými slovy — v rámci statistické chyby jsou si rovny. Dražší a propracovanější obal nevyřeší víc úloh než ten nejjednodušší.

Zato účet se chová úplně jinak. Stejný model na stejných úlohách a za stejné ceny může podle harnessu stát až třikrát víc. Autoři to shrnuli lakonicky: lepší obal vám nekoupí vyšší úspěšnost, koupí vám jen vyšší fakturu.

Fewer ways to lose a task, and a bill, not pass rate. (Méně způsobů, jak úlohu pokazit — a účet, ne vyšší úspěšnost.)

Kde se peníze ztrácejí: systémový prompt, který se posílá pořád dokola

Nejzajímavější je, kam přesně peníze mizí. AI agent neřeší úlohu jedním dotazem — pracuje po krocích. A při každém kroku se modelu znovu posílá celá sada systémových instrukcí a popisů nástrojů. Čím je tento obal ukecanější, tím dráž vás každý krok vyjde — a kroků bývají desítky.

• Claude Code posílá při každém kroku zhruba 16 600 tokenů systémových instrukcí.
• OpenCode asi 7 000 tokenů.
• Nejúspornější testovaný nástroj (mini-SWE-agent) méně než 1 000 tokenů.

Rozdíl tedy není v tom, že by dražší nástroj „víc přemýšlel". Je v tom, že nese těžší batoh a tahá ho s sebou do každého jednotlivého kroku. U jednoho z testovaných modelů stála identická úloha v jednom nástroji 1,81 jüanu, v druhém jen 0,56 jüanu — trojnásobný rozdíl za stejný výsledek. Autoři navíc zjistili, že Claude Code si navíc drží v historii i vlastní „uvažování" modelu, což konverzaci dál nafukuje.

Proč jsme tomu dosud věřili: dosavadní žebříčky měřily spíš šum

Pokud vás teď napadá, proč se tedy všude píše, že jeden nástroj je o 20 bodů lepší než druhý, studie má odpověď i na to. Dřívější srovnání podle autorů většinou stála na jediném běhu testu. Jenže AI je ze své podstaty nedeterministická — stejné zadání dvakrát po sobě dopadne pokaždé trochu jinak. Když autoři spustili úplně stejné nastavení dvakrát, výsledek se posunul až o 6 bodů čistě náhodou.

To má přímý důsledek pro čtení marketingových tabulek. Když výrobce chlubí dvoubodovým náskokem nad konkurencí, klidně může jít o pouhý statistický šum. Autoři spočítali, že na malém souboru 45 úloh se i rozdíl 13 bodů pozná jen asi v polovině případů. Rozdíly pod zhruba pět bodů z jediného běhu tak nemají prakticky žádnou vypovídací hodnotu.

Jedna výjimka se přece jen našla. Nástroj OpenCode zaostával za ostatními až o 9 bodů — ovšem z prozaického důvodu. Když model narazil na limit délky odpovědi uprostřed kroku, Claude Code ho vyzval, ať pokračuje, zatímco OpenCode krok rovnou ukončil, což obvykle znamenalo neúspěch. Nejde tedy o inteligenci obalu, ale o drobnost v tom, jak si poradí s hraniční situací.

Co si z toho odnést pro vlastní firmu

Pro českého podnikatele, který zvažuje nebo už platí nástroje na AI kódování, z toho plyne několik praktických věcí. Výběr nástroje je dnes podle studie především rozhodnutí o nákladech, ne o kvalitě. Úspěšnost řešení úloh bude napříč seriózními nástroji podobná, ale cena za jednu úlohu se může dramaticky lišit — a hlavní proměnnou je velikost systémového promptu a počet kroků.

• Nevybírejte nástroj podle marketingové tabulky s náskokem pár bodů — pod zhruba pět bodů jde nejspíš o šum.
• Ptejte se dodavatele na reálnou cenu za vyřešenou úlohu, ne jen na cenu za milion tokenů. To je číslo, které uvidíte na faktuře.
• Pokud máte vysoký objem úloh, otestujte vedle drahého nástroje i úspornější variantu na stejných zadáních — rozdíl v úspěšnosti může být zanedbatelný.
• Sledujte, zda nástroj umí využívat takzvané cachování (ukládání opakovaných částí dotazu) — snižuje to rozdíly v ceně.
• Zajímejte se o režim „uvažování" (thinking) modelu. Byl to jediný faktor, který ve studii opravdu měnil výsledky.

Právě režim uvažování je totiž jediná věc, která podle studie skutečně hýbala úspěšností. U některých modelů jeho vypnutí srazilo výkon o 11 bodů. Je to tedy mnohem důležitější nastavení než volba samotného obalu — a přitom se o něm mluví mnohem méně.

Studie nezpochybňuje užitečnost AI kódovacích asistentů jako takových — ty prokazatelně šetří čas vývojářům. Zpochybňuje ale představu, že dražší a propracovanější nástroj automaticky znamená lepší výsledky. V době, kdy firmy začínají tyto služby nasazovat plošně a účty za tokeny rostou, je to rozdíl, který se vyplatí znát dřív, než přijde faktura.