نسخه ۰٫۹٫۰ llama.cpp اومد؛ با پشتیبانی FP8 و مدلهای جدید
نسخه ۰٫۹٫۰ llama.cpp اومد؛ با پشتیبانی FP8 و مدلهای جدید صفحه ریلیز llama.cpp میگه نسخه ۰٫۹٫۰ با پشتیبانی از کوانتیزاسیون OCP FP8 E4M3 اومده؛ یعنی یه فرمت فشردهسازی وزنها که مدل رو سبکتر و سریعتر میکنه، بهعلاوه یه عملگر تازه flash_attn_ext_rows که کش یکپارچه KV رو برای استنتاج چند دنبالهای بهینهتر میکنه. چهار معماری تازه هم اضافه شده: Clover و Limite و Metis-1.6 و Mistral Large 4. توی بخش صدا هم Chatterbox TTS و Nemotron 3.5 Transcribe برای رونویسی آفلاین به ۴۰ زبان اومده و مدلهای…
Read the full story at matinsenpaii ↗