Jak moc vlastně AI při překladu „přemýšlí“?

Gemini je dar, který nepřestává překvapovat. Pro většinu jazyků je to nejlepší překladatelský LLM hned v základu. Díky jeho schopnosti přemýšlet rozlousknete i ty nejtvrdší oříšky – ať už jde o idiomy, narážky na anime, nebo váš specifický brand voice™.

Má to ale háček: přemýšlení stojí čas. A stojí i peníze, protože se účtuje každý token. Jako vývojář pak přirozeně chcete mít pod kontrolou obojí.

Gemini 2.5 to mělo jednoduché. Gemini 3 nám to zkomplikovalo.

Co jsme zjistili v laboratořích Transeptu

Co se v Gemini 3 změnilo

Gemini 2.5 mělo thinkingBudget: číselný strop pro počet tokenů určených k přemýšlení. Gemini 3 od něj upustilo. Nahradilo ho thinkingLevel: kategorické nastavení se čtyřmi hodnotami – minimal, low, medium a high. Tyto dva parametry se vzájemně vylučují; pokud modelu Gemini 3 pošlete oba zároveň, současná SDK vrátí chybu 400.

To v praxi mění význam „kontroly nákladů“. Dříve jste mohli nastavit pevný strop pro útratu. Teď je na modelu, kolik tokenů si pod úrovní ‚medium‘ zrovna představí.

Předpokládáme, že důvodem je post-training: modely jsou dotrénovány k tomu, aby délku přemýšlení přizpůsobovaly náročnosti úkolu, podobně jako lidé. Nastavení libovolných limitů by tuto schopnost narušovalo.

Kolik tokenů ale úrovně low, medium a high ve skutečnosti spotřebují?

Data

Tady je ukázka našeho reálného překladatelského provozu za dva týdny – zhruba 1000 volání napříč třemi modely Gemini 3. Data o thinking tokenech pocházejí z usageMetadata.thoughtsTokenCount u každé odpovědi, což je ten nejpřesnější možný zdroj.

Thinking tokeny podle modelu

Číslo 15 725 není překlep. Jeden překladový požadavek u modelu Flash při středním nastavení spotřeboval patnáct tisíc tokenů na uvažování.

Takové nafouknutí počtu tokenů obvykle způsobuje Gemini tím, že do výstupu propouští své surové tokeny uvažování. Jak možná víte, „uvažování“ modelu není to, co si skutečně myslí, ale spíše vyleštěná shrnutí; skutečné uvažování LLM se podobá spíše proudu vědomí.

Stojí však za zmínku, že v tomto konkrétním případě se Gemini v klidu piplalo s překladem literární pasáže z angličtiny do ukrajinštiny, kde se objevila věta jako „čistá ocel odmítá laky a barvy“. Model zkoušel hrubou silou a přeříkával si snad dvanáct variant, dokud se mu výsledek nelíbil.

O pár týdnů později přišla aktualizace. Těch 15,725 nebyl jen ojedinělý projev oddanosti Gemini, ale vzorec typický pro složité úkoly.

S rostoucím provozem, zejména u gemini-3.1-flash-lite, se toto číslo neustále vrací. Jde o podezřele úzké rozmezí 15,724–15,729 v desítkách volání, kdy modely Lite většinou louskaly audity glosářů. Zajímavé je, že běží s nízkým úsilím uvažování (low), což by u nastavení, které by nemělo být to nejnákladnější, člověk nečekal.

Model, který jedenáctkrát skončí u stejného čísla, narazil na strop, nikoli na konkrétní formulaci. Nízké úsilí při uvažování (low) se saturuje kolem 15,7 tisíce tokenů. Protože malé modely jako lite neuvažují tak efektivně, nutí je složité úkoly pálit spoustu tokenů; to se u větších modelů nestává – tam je každý token s větší pravděpodobností smysluplným krokem k odpovědi.

Tato saturace má navíc svou cenu. U Gemini 3 se tokeny uvažování započítávají do maxOutputTokens. Požadavek, který spotřebuje 15,7 tisíce tokenů na uvažování, už nemá téměř žádný prostor pro samotnou odpověď; veškeré uvažování se přitom účtuje v sazbě za výstup. Při limitu 16 tisíc se audit u malých dokumentů vracel prázdný (finishReason=MAX_TOKENS) asi v polovině případů, což nás přimělo k pátrání po příčině.

Navýšení limitu řeší příznak, nikoli příčinu. Limit pro audit jsme u nízkého uvažování (low) posunuli na 32 tisíc, což po saturovaném uvažování ponechává zhruba 16 tisíc na výstup – prázdné odpovědi tak přestaly chodit. Samotné uvažování se ale nezmenšilo. U Gemini 3 ho nelze zastropovat, takže stále pálí kolem 15,7 tisíce tokenů; vyšší limit jen dává odpovědi prostor, kam se může vejít.

Jediným skutečným řešením toho, že uvažování naráželo na 16tisícový strop, bylo zmenšení rozsahu úkolu.

minimal je jediná úroveň, která se chová jako skutečný strop s limitem kolem 2 tisíc tokenů. Je však dostupná pouze pro modely Lite.

Tokeny uvažování podle typu úkolu (Flash vs. Pro, oba při nastavení medium)

U běžného překladu přemýšlí model Pro skoro dvakrát méně než Flash. V hloubce uvažování ho předčí pouze při přepisování textu. Míra uvažování totiž odpovídá náročnosti úkolu, nikoli marketingové kategorii modelu.

Lze tvrdit, že model Pro dosahuje v překladatelských benchmarcích lepších výsledků právě díky své schopnosti přemýšlet v případě potřeby hlouběji.

Praktické poznatky

• U modelů Gemini 3 nenastavujte thinkingBudget. Buď bude ignorován, nebo vyvolá chybu.
• Hodnota medium je shora otevřená. Realisticky počítejte s cca 4 tisíci tokeny uvažování (p90) na volání, nikoli se 2 tisíci.
• Pokud potřebujete pevný limit na náklady, používejte všude, kde je to možné, úroveň minimal. Zastavovat výstup nemá smysl: zaplatíte za něj v každém případě.
• Pokud účtujete za jednotlivá volání, sledujte u každé odpovědi usageMetadata.thoughtsTokenCount. V těle odpovědi toto číslo nenajdete, ale na faktuře ano.
• U modelu Pro v režimu medium je pravděpodobné, že u jednoduchých úkolů bude přemýšlet méně, než je jeho medián, a u těch složitých naopak více. Modely Lite a Flash takovou variabilitu nevykazují.

To znamená, že Pro je nejlepším modelem pro korektury a stylistické úpravy nad rámec běžného standardu LLM, protože právě tam se naplno projevuje jeho kreativita. Na hrubý první nástřel překladu se lépe hodí Flash.

Stojí to ovšem čas a peníze. V Transeptu jsme přišli na to, jak náklady na model Pro snížit – díky chytré logice korektur jej zapojujeme jen do těch nejsložitějších pasáží. Pro využíváme také k plánování a rozhodování, zatímco samotnou realizaci delegujeme na menší a doladěné modely.

Díky tomu to všechno funguje.