Токен (token) — это фрагмент текста, на который языковая модель разбивает ввод перед обработкой: часть слова, целое слово, знак препинания или пробел. Что это значит на практике: модель не читает буквы и не видит слова целиком, а работает с последовательностью таких фрагментов, каждому из которых присвоен числовой идентификатор.
Разбивку выполняет токенизатор — отдельный алгоритм, привязанный к конкретной модели. У GPT и Claude словари токенизаторов разные, поэтому одна и та же фраза даст разное число фрагментов. По этому счётчику провайдеры считают лимит контекста и стоимость запроса: тарифы указываются за 1000 или за 1 млн единиц ввода и вывода.
§ 01Из чего складывается
Один фрагмент в английском тексте — это в среднем 4 символа или примерно 0.75 слова. Русский текст расходует словарь плотнее: кириллица чаще дробится на субтокены, поэтому та же мысль на русском занимает больше единиц, чем на английском. Разбивке подчиняются и пробелы, и переносы строк, и эмодзi. Частое слово вроде the занимает один фрагмент, редкое или составное — распадается на несколько лексем. Знаки препинания почти всегда идут отдельными элементами.
§ 02Как применять на сайте
Лимит контекста модели задаётся именно в этих единицах: окно на 128 000 фрагментов вмещает и промпт, и историю диалога, и ответ вместе. Когда объём ввода приближается к границе, ранняя часть переписки вытесняется. Для чата на сайте это значит, что длинную инструкцию лучше держать компактной. Проверить объём заранее помогает счётчик: OpenAI выкладывает библиотеку tiktoken, у Anthropic счёт доступен через API. Так узнают стоимость запроса до отправки.
−38% токенов на запрос — B2B SaaS-платформа поддержки с MRR $180k сократила системный промт с 2400 до 1500 токенов и вынесла контекст в кэш. Стоимость запроса к GPT-4o упала на 38% за 4 недели. Подсчёт через tiktoken и логи OpenAI Usage.
12k → 4k токенов на статью — Медиа-редакция на WordPress перевела генерацию анонсов с целых текстов на выжимки по 800 символов. Расход на статью снизился с 12k до 4k токенов за 2 месяца. Замер через дашборд Anthropic Console и внутренний биллинг.
§ 03Чем отличается от смежных понятий
Символ, слово и токенизированный фрагмент — три разные единицы, и путать их дорого. Символ — это одна буква или знак. Слово — привычная единица текста для человека. Единица токенизации лежит между ними: она может совпасть со словом, а может быть его куском. Отсюда правило пересчёта работает только как оценка: ~4 символа на фрагмент для латиницы, меньше для кириллицы и кода. Точное число даёт лишь прогон через токенайзер конкретной модели.
§ 04Кому это важно в первую очередь
Разработчикам LLM-приложений эта единица задаёт бюджет: расход на входные и выходные фрагменты формирует счёт за API. Автору длинных промптов она показывает, влезет ли документ в окно контекста. SEO-специалисту, который работает с генерацией контента, помогает прикинуть себестоимость пакета текстов. Практический шаг с чего начать: прогнать типовой запрос через счётчик, умножить на тариф провайдера и на число вызовов в месяц — так получают реальную смету, а не догадку.