フラッシュカード

トークン

トークンは、AIが読み書きする文章の小さな単位です。1つの単語が1トークンの場合も、複数のトークンに分かれる場合もあり、句読点も数えられることがあります。AI製品はトークンで上限や利用量を計るため、トークン数と単語数は同じではありません。