اپل در جدیدترین پست وبلاگ تحقیقاتی خود پرده از قدرت واقعی تراشه M5 در اجرای مدل‌های زبانی بزرگ برداشت. این گزارش که براساس فریم‌ورک اختصاصی و متن‌باز اپل یعنی MLX تهیه شده، نشان می‌دهد که مک‌بوک‌های مجهز به M5 در پردازش‌های سنگین هوش مصنوعی، جهش عملکردی خیره‌کننده‌ای نسبت به نسل قبل دارند.

براساس تحلیل‌های جدید اپل، تراشه M5 در بنچمارک «مدت زمان موردنیاز تا شروع اولین توکن» (TTFT) عملکردی خیره‌کننده دارد و بین ۳.۳ تا ۴.۱ برابر سریع‌تر از M4 عمل می‌کند. TTFT همان لحظه‌ای است که شما دکمه اینتر را می‌زنید و منتظر می‌مانید تا هوش مصنوعی شروع به نوشتن کند. این فرایند خیلی وابسته به محاسبات است و نیاز به ضرب ماتریس‌های سنگین دارد.

اپل برای حل این مسئله، شتاب‌دهنده‌های عصبی GPU جدیدی را در M5 تعبیه کرده که عملیات ضرب ماتریس را به صورت اختصاصی انجام می‌دهند. طبق نمودارهای اپل، نتایج زیر برای مدل‌های هوش مصنوعی مختلف به دست آمده است:

• مدل Qwen 14B: زمان پردازش از ۳۵.۱۵ ثانیه در M4 به ۸.۶۶ ثانیه در M5 کاهش یافته است (۴.۱ برابر سریع‌تر).
• مدل Qwen 8B: بهبود از ۱۸.۶ ثانیه به ۴.۶۹ ثانیه (۴ برابر سریع‌تر).
• مدل سنگین Qwen 30B: بهبود از ۹.۳۷ ثانیه به ۲.۶۶ ثانیه (۳.۵ برابر سریع‌تر).

این یعنی تأخیر آزاردهنده‌ای که هنگام کار با مدل‌های لوکال روی لپ‌تاپ حس می‌کردید، عملاً حذف شده است.

افزایش سرعت پردازش هوش مصنوعی در تراشه M5 اپل

برخلاف مرحله اول (TTFT)، فرایند تولید کلمات بعدی (تایپ‌کردن کامل پاسخ) به حافظه لپ‌تاپ شما وابسته است. در این مرحله، سرعت پردازنده اهمیت کمتری دارد و همه چیز به این بستگی دارد که اطلاعات چقدر سریع می‌توانند از رم به پردازنده منتقل شوند.

تراشه M5 دارای پهنای باند حافظه ۱۵۳ گیگابایت‌برثانیه است که نسبت به ۱۲۰ گیگابایت‌برثانیه در M4، حدود ۲۸ درصد افزایش داشته است. دقیقاً به همین دلیل، سرعت تولید متن نیز در بنچمارک‌ها بین ۱.۱۹ تا ۱.۲۷ برابر (حدود ۱۹ تا ۲۷ درصد) بهبود یافته است.

در جدول زیر، جزئیات دقیق تست‌های انجام‌شده روی مک‌بوک پرو با ۲۴ گیگابایت رم را مشاهده می‌کنید:

نکته جالب اینجاست که مک‌بوک پرو M5 با ۲۴ گیگابایت رم توانسته مدل سنگین ۳۰ میلیارد پارامتری را با مصرف ۱۷.۳۱ گیگابایت حافظه اجرا کند، درحالی‌که هنوز فضای کافی برای سیستم‌عامل باقی می‌ماند.