بطاقة تعليمية

الوحدة النصية (Token)

الوحدة النصية (Token) هي جزء صغير من النص يقرأه الذكاء الاصطناعي أو يكتبه. قد تتكون الكلمة الواحدة من وحدة واحدة أو عدة وحدات، وقد تُحسب علامات الترقيم أيضًا. تستخدم منتجات الذكاء الاصطناعي هذه الوحدات لتحديد الحدود وقياس الاستخدام، لذلك فهي ليست الكلمات نفسها.