💥مدل زبانی یک بیتی مایکروسافت!
🔥مایکروسافت در یک مقاله تحقیقاتی با عنوان The Era of 1-bit LLMs مدل جدیدی را به نام BitNet b1.58 معرفی کرد. در این مدل هر پارامتر یک مقدار سهتایی (Ternary) است. به عبارت دیگر هر پارامتر این مدل یکی از مقادیر +۱، -۱ و یا ۰ است. این مدل در مقایسه با نسخه ۱۶بیتی Llama چهار برابر کوچکتر و ۷۰ برابر انرژی کمتر مصرف کرده در حالیکه عملکرد یکسانی با آن دارد. برای مطالعه جزئیات فنی اینجا را بخوانید. تلاش برای ساختن مدلهای کوچکتر و بهینهتر مسیر را برای استفاده از قابلیتهای مدلهای زبانی در تلفنهای هوشمند هموارتر میکند.
🧠 با هوش مصنوعی همراه شوید 👇:
➖➖➖➖➖
🆔 :
@DrHamedShahbazi