Карточка

Токен

Токен — это небольшой фрагмент текста, который ИИ читает или пишет. Одно слово может состоять из одного или нескольких токенов; знаки препинания тоже могут считаться токенами. ИИ-продукты используют токены, чтобы задавать ограничения и измерять объём использования, поэтому токены — не то же самое, что слова.