Скільки насправді «думає» ШІ під час перекладу?

Gemini — справжня знахідка. Це найкраща LLM для перекладу «з коробки» для більшості мов. Завдяки її здатності до «мислення» можна впоратися навіть із найскладнішими викликами: ідіомами, аніме-відсиланнями чи вашим унікальним brand voice™.

Проблема в тому, що «мислення» потребує часу. А ще воно коштує грошей — кожен такий токен тарифікується. Як розробнику, вам важливо контролювати обидва ці аспекти.

З Gemini 2.5 усе було просто. Gemini 3 все ускладнила.

Ось що ми з’ясували в лабораторіях Transept

Що змінилося в Gemini 3

У Gemini 2.5 був параметр thinkingBudget — числовий ліміт на токени для міркувань. У Gemini 3 його прибрали. Заміною став thinkingLevel: категоріальний параметр із чотирма значеннями — minimal, low, medium та high. Ці два параметри взаємовиключні; у поточних SDK спроба передати обидва параметри моделі Gemini 3 повертає помилку 400.

Це змінює практичне значення «контролю витрат». Раніше можна було встановити жорстку межу бюджету. Тепер модель сама вирішує, скільки ресурсів потребує рівень «medium».

Ми припускаємо, що причина в донавчанні: моделі вчаться адаптувати глибину міркувань до складності завдання, як це роблять люди. Тож встановлення довільних лімітів завадило б цій здатності.

Але скільки токенів насправді споживають рівні low, medium та high?

Дані

Ось вибірка нашого реального трафіку перекладів за два тижні — близько 1000 запитів до трьох моделей Gemini 3. Дані про токени міркувань ми брали з поля usageMetadata.thoughtsTokenCount у кожній відповіді, що є найточнішим із можливих джерел.

Токени міркувань за моделями

Число 15 725 — це не помилка. Один запит на переклад до моделі Flash із налаштуванням medium використав п’ятнадцять тисяч токенів міркування.

Зазвичай таке роздування кількості токенів відбувається через те, що сирі токени міркувань Gemini просочуються в результат. Як ви, можливо, знаєте, «міркування» моделі — це насправді не те, як вона мислить, а радше відшліфовані підсумки; справжнє міркування LLM більше нагадує потік свідомості.

Втім, варто зауважити, що в цьому конкретному випадку Gemini спокійно собі копирсалася в перекладі літературного уривка з англійської на українську, де була фраза на кшталт «чиста сталь відторгає лаки та фарби». Вона просто перебирала варіанти, «промовляючи» вголос десь із дванадцять версій, поки результат їй не сподобався.

За кілька тижнів з’явилися нові дані. Ті 15,725 не були разовим сплеском завзяття Gemini, а виявилися патерном, характерним для складних завдань.

Зі збільшенням трафіку, особливо на gemini-3.1-flash-lite, знову й знову виринає те саме число. Підозріло вузький діапазон 15,724–15,729 у десятках запитів поспіль; майже в усіх випадках це моделі Lite, що продираються крізь перевірку глосаріїв. Що цікаво, вони працюють на налаштуванні low, хоча навряд чи хтось очікував, що саме воно виявиться найзатратнішим.

Якщо модель одинадцять разів поспіль видає одне й те саме число, це означає, що вона вперлася в стелю, а не просто підібрала формулювання. Міркування на рівні low сягають межі десь на 15,7 тис. токенів. Оскільки малі моделі, як-от lite, міркують менш ефективно, складні завдання змушують їх спалювати купу токенів; із більшими моделями такого не трапляється — там кожен токен з більшою ймовірністю є значущим кроком до відповіді.

Крім того, таке «насичення» має свою ціну. У Gemini 3 токени міркування віднімаються від загального ліміту maxOutputTokens. Якщо запит витрачає 15,7 тис. на міркування, на саму відповідь майже нічого не залишається; при цьому всі міркування оплачуються за тарифом вихідних токенів. При ліміті в 16 тис. аудит повертався порожнім (finishReason=MAX_TOKENS) приблизно в половині випадків навіть для невеликих документів, що й змусило нас розібратися в проблемі.

Збільшення ліміту лікує симптом, а не причину. Ми підняли бюджет аудиту до 32 тис. на рівні low, що залишає близько 16 тис. на відповідь після того, як міркування «виїли» свою частку — порожні результати зникли. Але обсяг міркувань не зменшився. У Gemini 3 його неможливо обмежити зверху, тому модель і далі спалює близько 15,7 тис. токенів; більший бюджет просто дає відповіді куди «вміститися».

Єдиним справжнім виходом із ситуації, коли міркування «забивали» всі 16 тисяч токенів, стало скорочення обсягу завдання.

minimal — це єдиний рівень, який поводиться як справжній ліміт зі «стелею» близько 2 тис. токенів. Проте він доступний лише для моделей Lite.

Токени міркування за типом завдання (Flash проти Pro, обидві на рівні medium)

У простому перекладі Pro «думає» майже вдвічі менше за Flash. Вона «думає» більше за Flash лише в завданнях із переписування. Зусилля на міркування залежать від складності завдання, а не від маркетингового класу моделі.

Можна стверджувати, що Pro показує кращі результати в бенчмарках із перекладу саме завдяки здатності думати глибше, коли це необхідно.

Практичні висновки

• Не встановлюйте thinkingBudget для моделей Gemini 3. Цей параметр або ігноруватиметься, або призведе до помилки.
• Рівень medium не має фіксованої верхньої межі. Реалістично варто розраховувати приблизно на 4 тис. токенів міркування (p90) на запит, а не на 2 тис.
• Якщо вам потрібне жорстке обмеження витрат, за можливості використовуйте minimal. Зупиняти генерацію немає сенсу: рахунок буде виставлено в будь-якому разі.
• Якщо ви тарифікуєте кожен запит, зчитуйте usageMetadata.thoughtsTokenCount у кожній відповіді. Це число не відображається в тілі відповіді, але воно є в інвойсі.
• На рівні medium модель Pro, найімовірніше, «думатиме» менше за своє медіанне значення на простих завданнях і більше — на складних. У Lite та Flash такої варіативності немає.

Отже, Pro — найкраща модель для коректури та вдосконалення тексту понад базовий рівень LLM, адже саме тут розкривається її творчий потенціал. Для створення ж сирих чернеток краще підходить Flash.

Щоправда, це потребує часу та коштів. У Transept ми навчилися оптимізувати витрати на Pro завдяки алгоритмам «розумної вичитки», що залучають Pro лише до найскладніших фрагментів. Ми також використовуємо Pro для планування та прийняття рішень, а саме виконання делегуємо меншим моделям і файн-тюнам.

Завдяки цьому все працює як слід.