Токенизатор и калькулятор токенов онлайн

Токен — это минимальная единица текста, которую обрабатывает языковая модель. Это может быть целое слово, часть слова, знак препинания или пробел. Для русского языка 1000 токенов — это примерно 400-600 слов, в зависимости от сложности текста.

Вставьте текст, выберите модель или семейство токенизатора и посмотрите количество токенов, слов и символов. Например, для строки «Создай краткий план статьи.» при выборе GPT-5 инструмент показывает 7 токенов, 4 слова и 27 символов. Карта токенизации показывает, как текст разбивается на отдельные элементы.

Модели используют разные семейства токенизаторов, поэтому одно и то же слово или предложение может разбиваться по-разному. Для русского текста результат особенно зависит от выбранной модели.

Современные модели GPT-5, GPT-4.1, GPT-4o и o-серии используют семейство 'o200k_base'. Для моделей gpt-oss применяется 'o200k_harmony', а для старых GPT-4 и GPT-3.5 — 'cl100k_base'. Инструмент выбирает нужную кодировку вместе с моделью.

Выберите модель и используйте отображаемую стоимость как ориентир для входного текста. Итог зависит от актуального тарифа, input/output-токенов, округления и возможного кэширования.

Токенизатор считает вставленный текст. При оценке API отдельно учитывайте токены ответа, потому что они тарифицируются по правилам выбранной модели.

Да. Вставьте русский текст и выберите подходящее семейство модели. Инструмент покажет количество токенов и подробную статистику.

В каталоге 207 моделей и версий: GPT-5.x, GPT-4.1, GPT-4o, GPT-4, GPT-3.5, o1, o3, o4, gpt-oss, GPT Image, GPT Audio, realtime, Sora и legacy-модели. Полный список сгруппирован ниже по семействам и обновляется вместе с библиотекой токенизации.