معرفی DeepSeek-V3؛ جهشی بزرگ در مدل‌های زبان بازمتن

معرفی DeepSeek-V3

مدل DeepSeek-V3 جدیدترین نسخه از خانواده مدل‌های زبان بازمتن DeepSeek است که با هدف کاهش فاصله میان مدل‌های متن‌باز و مدل‌های تجاری بسته مانند GPT-4 و Claude 3 عرضه شده است. این نسخه نه‌تنها از نظر معماری و عملکرد یک جهش بزرگ محسوب می‌شود، بلکه با حفظ روحیه متن‌باز، مسیر توسعه هوش مصنوعی فراگیر و قابل‌دسترس را هموارتر کرده است.

مشخصات فنی برجسته

• 671 میلیارد پارامتر در معماری Mixture-of-Experts (MoE) از این تعداد، تنها 37 میلیارد پارامتر در هر توکن فعال می‌شوند که باعث افزایش بهره‌وری و کاهش هزینه پردازش می‌شود.
• پیش‌پردازش با 14.8 تریلیون توکن باکیفیت داده‌های آموزشی از منابع متنوع و باکیفیت انتخاب شده‌اند تا مدل درک عمیق‌تری از زبان و زمینه داشته باشد.
• استفاده از معماری DeepSeekMoE و Multi-head Latent Attention (MLA) این معماری‌ها که در نسخه قبلی DeepSeek-V2 اعتبارسنجی شده بودند، در نسخه جدید بهینه‌سازی شده‌اند تا عملکرد مدل در پردازش‌های پیچیده افزایش یابد.
• بدون استفاده از Auxiliary Loss برای تعادل بار DeepSeek-V3 با حذف مکانیزم‌های اضافی برای تعادل بار، توانسته عملکرد بهتری در توزیع پردازش میان متخصص‌ها داشته باشد.
• هدف آموزشی جدید: پیش‌بینی چندتوکنی (Multi-Token Prediction) این رویکرد نه‌تنها دقت مدل را افزایش داده، بلکه امکان استفاده از تکنیک‌های speculative decoding برای تسریع در استنتاج را فراهم کرده است.

نوآوری در آموزش و بهره‌وری

• استفاده از FP8 Mixed Precision Training برای اولین بار، آموزش مدل در مقیاس بسیار بزرگ با دقت FP8 انجام شده که باعث کاهش مصرف منابع و افزایش سرعت آموزش شده است.
• پوشش کامل هم‌زمانی محاسبه و ارتباط در آموزش MoE با طراحی مشترک الگوریتم، فریم‌ورک و سخت‌افزار، DeepSeek توانسته گلوگاه‌های ارتباطی را حذف کرده و بهره‌وری آموزش را به سطح بی‌سابقه‌ای برساند.
• هزینه آموزش پایین‌تر نسبت به مدل‌های مشابه کل آموزش DeepSeek-V3 تنها 2.788 میلیون ساعت GPU با کارت‌های H800 نیاز داشته که در مقایسه با مدل‌های مشابه بسیار مقرون‌به‌صرفه است.

دستاوردهای عملکردی

ارزیابی‌های جامع نشان داده‌اند که DeepSeek-V3 در بسیاری از بنچمارک‌ها از مدل‌های متن‌باز دیگر پیشی گرفته و عملکردی نزدیک به مدل‌های تجاری بسته دارد. این موفقیت نشان‌دهنده بلوغ معماری MoE و اثربخشی استراتژی‌های آموزشی جدید است.

قیمت‌گذاری API

تا تاریخ 8 فوریه، قیمت استفاده از DeepSeek-V3 مشابه نسخه قبلی باقی می‌ماند. پس از آن، قیمت‌ها به شرح زیر خواهد بود:

با این قیمت‌گذاری، DeepSeek-V3 همچنان یکی از مقرون‌به‌صرفه‌ترین گزینه‌ها در بازار مدل‌های پیشرفته زبان باقی می‌ماند.

آینده DeepSeek

تیم DeepSeek اعلام کرده که این تازه آغاز راه است. پشتیبانی از ورودی‌های چندرسانه‌ای (Multimodal)، قابلیت‌های جدید در استنتاج، و بهبودهای بیشتر در تعامل انسانی از جمله برنامه‌های آینده این پروژه هستند.

انتهای مطلب معرفی DeepSeek-V3 از دایان