نسخه ۰٫۹٫۰ llama.cpp اومد؛ با پشتیبانی FP8 و مدل‌های جدید

MATINSENPAIIneutral2026-11-05 05:56:57 UTC
AdYour ad here[email protected]

نسخه ۰٫۹٫۰ llama.cpp اومد؛ با پشتیبانی FP8 و مدل‌های جدید صفحه ریلیز llama.cpp می‌گه نسخه ۰٫۹٫۰ با پشتیبانی از کوانتیزاسیون OCP FP8 E4M3 اومده؛ یعنی یه فرمت فشرده‌سازی وزن‌ها که مدل رو سبک‌تر و سریع‌تر می‌کنه، به‌علاوه یه عملگر تازه flash_attn_ext_rows که کش یکپارچه KV رو برای استنتاج چند دنباله‌ای بهینه‌تر می‌کنه. چهار معماری تازه هم اضافه شده: Clover و Limite و Metis-1.6 و Mistral Large 4. توی بخش صدا هم Chatterbox TTS و Nemotron 3.5 Transcribe برای رونویسی آفلاین به ۴۰ زبان اومده و مدل‌های…

Read the full story at matinsenpaii ↗
AdYour ad here[email protected]