به تازگی خبرهای جدیدی به گوش می‌رسد مبنی بر این که آخرین آپدیت Llamafile، با استفاده از دستورالعمل‌های AVX-512 عملکرد پردازنده‌های Ryzen شرکت AMD را تا ۱۰ برابر افزایش خواهد داد.
با این اوصاف به نظر می‌رسد که اجرای مدل‌های Hefty LLM در سیستم‌های محلی با جدیدترین به‌روزرسانی Llamafile آسان‌تر شده است زیرا پردازنده‌های AMD Ryzen با AVX-512، به طور چشمگیری بوست می‌شوند.
در همین رابطه، فورونیکس (Phoronix) گزارش داده است که آخرین به‌روزرسانی Llamafile اکنون از مجموعه دستورالعمل‌های AVX-512 پشتیبانی خواهد کرد و به پردازنده‌هایی که از این دستورالعمل بهره می‌برند اجازه می‌دهد در حین استفاده از نرم افزار، شاهد افزایش عملکرد قابل توجهی باشند. به علاوه گزارش شده است که پردازنده‌های Zen 4 Ryzen شرکت AMD با به‌روزرسانی جدید، امکان ارزیابی سریع‌تر تا حداکثر ۱۰ برابر را تجربه خواهند کرد، که در نهایت عملکرد بسیار کارآمدتر LLM را در این ابزار فراهم می‌کند.
آشنایی با Llamafile: ابزار توسعه‌یافته توسط Mozilla Ocho برای اجرای مدل‌های LLM
برای کسانی که از Llamafile آگاه نیستند باید گفت که می‌توان آن را با یک فایل اجرایی منفرد که یک مدل LLM را با کتابخانه‌های لازم برای اجرای آن ترکیب می‌کند، اجرا کرد. Mozilla Ocho این ابزار را توسعه داده است و هدف آن این است که LLM ها را با استفاده از اجرای پردازنده و گرافیک برای مخاطبان بزرگتر در دسترس قرار دهد. این ابزار در بین توسعه دهندگان موفقیت چشمگیری داشته است، به خصوص از آنجایی که نیاز به گزینه‌های پرهزینه برای دسترسی به LLM را از بین می‌برد. با این وجود باید درنظر داشته باشید که، Llamafile هنوز در مراحل اولیه تولید است، از این رو نشانه‌هایی از عدم دقت در رابطه با آن دیده می‌شود، که البته ما معتقدیم زمانی که روند و تکنولوژی‌های مرتبط با محاسبات لبه (Edge Computing) شتاب گرفت، این کاستی‌ها نیز به سرعت برطرف خواهند شد.
آمادگی برای آزمایش Llamafile: نگاهی به ارتقاء عملکرد و پشتیبانی از AVX-512 در پردازنده‌های Ryzen AMD و اینتل
در نهایت باید به این نکته اشاره کرد که ارتقاء عملکرد جدید هنوز آزمایش نشده است، با این وجود فورونیکس بیان می‌کند که آن‌ها برنامه‌هایی برای آزمایش نسخه Llamafire 0.7 جدید در آینده، هم در سیستم‌های شرکت AMD و هم نمونه‌های کمپانی اینتل، دارند. از اینجا می‌توانید از طریق GitHub به آخرین نسخه دسترسی داشته باشید. توجه داشته باشید که پردازنده‌های Ryzen شرکت AMD تنها پردازنده‌های بخش مصرف کننده‌ای هستند که از دستورالعمل AVX-512 پشتیبانی می‌کنند. در عین حال، شرکت اینتل از پشتیبانی از AVX-512 در پردازنده‌های خود دست کشیده است، زیرا این موضوع تاثیر منفی بر فروش پردازنده‌های Xeon این شرکت گذاشته بود. همچنین باید گفت، این آپدیت به پلتفرم Ryzen AMD برای کاربرانی که می‌خواهند از برنامه‌هایی استفاده کنند که از دستورالعمل AVX-512 بهره می‌برند، برتری خواهد داد.
دیدگاهتان را بنویسید