بهترین کارت های گرافیک سری Workstation انویدیا یا همان سری کارت های گرافیک NVIDIA RTX و RTX A غیر گیمینگ در هوش مصنوعی LLM (Large Language Mode) چه هستند؟ کدام کارت گرافیک برای پردازش های LLM و هوش مصنوعی مناسب تر است؟ برای پاسخ به این سوالات، با مازستا همراه باشید.
بهترین کارت گرافیک برای Large Language Modelهوش مصنوعی
مدل زبانی بزرگ یا LLM که اختصاری از Large Language Model است، یکی از انواع برنامه های هوش مصنوعی است که قادر به تفسیر زبان انسان و یا داده های بزرگ و سنگین است. مدل LLM بر پایه یادگیری ماشین یا همان Machine Learning و شبکه عصبی Transformer توسعه یافته است.
از آنجایی که هوش مصنوعی امروزه به یکی از برجسته ترین صنایع جهان مبدل شده است، سازندگان سخت افزار به شدت به دنبال ارائه محصولاتی از جمله کارت گرافیک و پردازنده هستند تا پردازش های این حوزه را به بهترین شکل انجام دهند. در حال حاضر کاربران برای پردازش اینترفیس و پلتفرم هایی از جمله Large Language Model به کارت های گرافیک توانمند نیاز دارند که از جمله آنها می توان به سری کارت های گرافیک انویدیا Workstation یا NVIDIA RTX و RTX A اشاره کرد.
در این مقاله به سراغ بررسی کارت های گرافیک رده حرفه ای و ورک استیشن انویدیا، در مدل های RTX و RTX A خواهیم رفت. برنامه ریزی هسته های CUDA در کارت های گرافیک انویدیا برای بنچمارک llama.cpp بهینه سازی شده و سیستم تست نیز شامل پردازنده AMD Ryzen Threadripper PRO 7985WX، خنک کننده Asetek 836S-M1A 360mm، مادربرد ASUS Pro WS WRX90E-SAGE SE، مقدار 128 گیگابایت حافظه رم و حافظه اس اس دی Samsung 980 Pro 2TB است.
کارت های گرافیکی که در این مقایسه برای هوش مصنوعی شرکت داشته اند، شامل مدل های زیر هستند:
کارت گرافیک NVIDIA RTX 6000 Ada Generation 48GB
کارت گرافیک NVIDIA RTX 5000 Ada Generation 32GB
کارت گرافیک NVIDIA RTX 4500 Ada Generation 24GB
کارت گرافیک NVIDIA RTX 4000 Ada Generation 20GB
کارت گرافیک NVIDIA RTX A6000 48GB
مقایسه کارت های گرافیک در LLM
تست کارت های گرافیک ورک استیشن انویدیا و مدل های غیر گیمینگ چندان غافلگیرکننده نیست. این نتایج با RTX 6000 Ada که بالاترین نتیجه را کسب کرده و RTX 4000 Ada با کمترین امتیاز همراه است. جالب است بدانید که RTX 6000 قدیمی‌تر حتی با RTX 4500 Ada در عملکرد LLM چندان جذاب ظاهر نشده اند.
هنگامی که مشخصات و تست های کارت های گرافیک را مشاهده می کنیم، می بینیم که زبان Large Language Model با عملکرد کارت های گرافیک در FP16 در ارتباط است که تقریباً به طور کامل بر اساس تعداد هسته‌های تانسور و نسل هسته‌های تانسوری است که GPUها با آن ساخته شده‌اند. بنابراین در نهایت، متوجه می‌شویم که به نظر می‌رسد پردازش سریع توسط عملکرد محاسباتی GPU محدود شده است و نه توسط عوامل دیگری مانند پهنای باند حافظه.
برخلاف نتایج پردازش سریع، متوجه شدیم که تولید توکن با پهنای باند حافظه GPU (جدول زیر) بیشتر از تعداد هسته تانسور مقیاس می‌شود؛ در نتیجه اگرچه RTX 6000 Ada همچنان برنده واضح است، RTX A6000 قدیمی‌تر می‌تواند به جایگاه دوم صعود کند.
با این حال، با مقایسه RTX A6000 و RTX 5000 Ada، همچنین می‌توان دریافت که پهنای باند حافظه تنها عامل تعیین کننده عملکرد در طول تولید توکن نیست. اگرچه RTX 5000 Ada تنها 75 درصد از پهنای باند حافظه RTX A6000 را دارد، اما همچنان می تواند 90 درصد از عملکرد کارت قدیمی را به دست آورد. این نشان می‌دهد که عملکرد محاسباتی همچنان در طول تولید توکن نقشی را ایفا می‌کند، اما نه به اندازه تست اول. به تصویر زیر توجه کنید:
به تصویر زیر توجه کنید؛ زبان بزرگ یا LLM هم به هسته های CUDA و Tensor وابسته است و هم به حافظه VRAM و پهنای باند. ترکیب این دو ویژگی برای کارت گرافیکی که برای Large Language Model انتخاب می شود بسیار مهم است. هنگام تصمیم گیری اینکه کدام کارت گرافیک مناسب ترین گزینه برای استفاده با LLM هستند، باید چندین ویژگی GPU را در نظر گرفت. این نتایج نشان می‌دهد که ظرفیت VRAM نباید تنها مشخصه‌ای باشد که باید هنگام انتخاب پردازنده‌های گرافیکی برای استفاده از LLM در نظر گرفت.
در مطالب دیگر به سراغ تست کارت های گرافیک GEFORCE RTX 4000 برای LLM خواهیم رفت تا بهترین کارت گرافیک برای پردازش های هوش مصنوعی را پیدا کنیم.
