توکن یعنی چه؟

توکن

تکه کوچکی از متن که مدل زبانی می‌خواند و می‌نویسد و اغلب بخشی از یک واژه است. قیمت‌ها و محدودیت‌ها معمولاً بر حسب توکن حساب می‌شوند.

همه اصطلاحات هوش مصنوعی

• هوش مصنوعی
• مدل زبانی بزرگ
• چت‌بات
• هوش مصنوعی مولد
• پرامپت
• پنجره زمینه
• توهم
• عامل هوش مصنوعی
• آموزش مدل
• تنظیم دقیق
• پارامترها
• مدل باز
• بنچمارک
• مدل استدلالی
• چندوجهی
• RAG
• استنتاج
• GPU
• API
• دیپ‌فیک
• هم‌راستاسازی
• AGI
• کوانتیزه‌سازی
• ترکیب متخصصان
• مدل انتشار
• مرکز داده