Искусственный интеллект
Токен
Token · Токены · Токенизация
Токен в языковой модели — единица представления текста после токенизации. Ею может быть слово, часть слова, знак или другое сочетание символов. Токены используют при расчёте объёма контекста и лимитов генерации.
Как это работает на примере
Токенизатор разбивает строку на элементы своего словаря и сопоставляет им числовые идентификаторы. Разные модели могут разбивать один текст по-разному. Поэтому длина сообщения в символах не позволяет точно определить число токенов.
Сервис считает объём запроса перед отправкой: в него входят инструкция, история разговора и приложенный текст. Длинный документ может занять большую часть лимита ещё до того, как модель начнёт отвечать.
Правило «один токен равен одному слову» неверно. Для точного расчёта нужен токенизатор конкретной модели; правила оплаты и отдельные лимиты нужно смотреть у провайдера.
Почитать на сайте
Материалы, которые помогут разобраться и применить знания.