DeepSeek model ailesi, 7B'den 671B parametreye kadar uzanan geniş bir yelpaze sunar ve her model boyutu farklı donanım gereksinimleriyle gelir. Küçük modeller tek bir tüketici GPU'suyla çalışabilirken, büyük Mixture-of-Experts (MoE) tabanlı modeller birden fazla üst düzey GPU ve yüksek bant genişlikli ağ bağlantısı gerektirir. Bu rehberde, özel sunucunuzda DeepSeek modellerini verimli biçimde çalıştırmak için hangi GPU'yu seçeceğinizi, CPU ve RAM tarafında nelere dikkat etmeniz gerektiğini, kuantizasyon stratejilerini ve yazılım yığınını nasıl optimize edeceğinizi adım adım ele alacağız. Amacınız ister tek sunucuda düşük gecikmeli çıkarım ister ölçeklenebilir bir servis altyapısı kurmak olsun, doğru donanım ve yapılandırma kararları hem maliyeti hem de performansı doğrudan belirleyen en kritik faktörlerdir. Donanım seçiminde yapılan küçük bir hata, modelin çalışma hızını yarı yarıya düşürebilir veya sistemin sürekli kilitlenmesine yol açabilir.

DeepSeek Model Mimarisi ve Bellek Gereksinimleri

DeepSeek'in açık kaynaklı modelleri arasında DeepSeek-V2, DeepSeek-Coder-V2 ve devasa DeepSeek-V3 gibi seçenekler bulunur. Burada kritik nokta, MoE mimarisinin toplam parametre sayısının yalnızca bir kısmını her token için aktif hale getirmesidir. 671B parametreli bir modelde her istekte yaklaşık 37B parametre kullanılır; ancak tüm modelin ağırlıkları GPU belleğinde (VRAM) tutulmalıdır. FP16 formatında her parametre 2 bayt yer kaplarken, 4-bit kuantizasyon ile bu gereksinim ciddi oranda düşer. Örneğin, DeepSeek-V3'ün FP16 hali yaklaşık 1,3 TB bellek isterken, 4-bit kuantizasyonla bu ihtiyaç 350 GB civarına geriler. Pratik bir kural olarak, modelin toplam ağırlık boyutunu hesaplarken kuantizasyon seviyesini mutlaka hesaba katın. Eğer 80 GB VRAM'e sahip bir kartınız varsa, 350 GB'lık bir modeli çalıştırmak için en az 5-6 adet GPU'yu paralel bağlamanız gerekir. Bellek kapasitesini planlarken, çıkarım sırasında oluşacak "KV Cache" (anahtar-değer önbelleği) için de ek %10-15'lik bir VRAM payı bırakmayı unutmayın. Bu payı ayırmazsanız, uzun bağlamlı (long-context) sorgularda "Out of Memory" hatası almanız kaçınılmazdır. Karar kuralı: Toplam VRAM ihtiyacını hesaplarken, model ağırlıklarının %120'sini baz alarak planlama yapın.

GPU Seçimi: VRAM ve Bant Genişliği Dengesi

DeepSeek modellerini çalıştırırken GPU seçiminde belirleyici üç metrik vardır: toplam VRAM kapasitesi, bellek bant genişliği (GB/s) ve kartlar arası iletişim hızı. Çıkarım sırasında ağırlıklar bellekten sürekli okunduğu için bant genişliği doğrudan token/saniye performansını belirler. Örneğin, A100-80GB (2 TB/s) ile H100 SXM (3,35 TB/s) arasında aynı modelde %50'ye varan bir hız farkı gözlemlenebilir. Çoklu GPU kurulumunda NVLink ve NVSwitch teknolojileri kritik hale gelir; 8x A100 SXM kurulumunda her kart çifti arasında 600 GB/s NVLink bağlantısı bulunurken, PCIe tabanlı kurulumlarda bu değer 64 GB/s'ye düşer. Tüketici sınıfı RTX 4090 kartlarında NVLink desteği yoktur, bu da MoE modellerindeki uzman katmanlarının dağıtılmasında ciddi darboğaz yaratır. Karar kuralı: Model tek kartta sığmıyorsa, mutlaka NVLink destekli profesyonel GPU'ları tercih edin; tüketici kartlarıyla çoklu kurulum sadece VRAM'in tek kartla yetmediği acil durumlar için bir "geçici çözüm" olarak görülmelidir. Bir örnek vermek gerekirse, 8 adet RTX 4090 ile kurulan bir sistem, 4 adet H100 SXM sisteminden daha fazla VRAM sunsa bile, kartlar arası veri transferindeki gecikme nedeniyle gerçek dünya çıkarım hızında H100'lerin çok gerisinde kalacaktır.

CPU ve RAM: Görünmez Darboğazlar

GPU'lar odak noktası olsa da, CPU ve sistem belleği performansı görmezden gelinemeyecek düzeyde etkiler. Model yükleme aşamasında tüm ağırlıklar önce sistem RAM'ine, ardından GPU VRAM'ine aktarılır. DeepSeek-V3'ün 4-bit kuantize edilmiş 350 GB'lık ağırlıklarını yüklemek için en az 512 GB sistem RAM'i gerekir; aksi takdirde disk tabanlı "swap" kullanımı yükleme süresini dakikalara çıkarır. Ayrıca tensor paralelizminde CPU, GPU'lar arası iletişim koordinasyonunu üstlenir; yetersiz bir CPU (örneğin eski nesil Xeon Silver serisi) "pipeline" baloncuğu yaratarak GPU'ların boşta beklemesine neden olur. Depolama tarafında ise model ağırlıkları mutlaka NVMe SSD'de tutulmalıdır. PCIe 4.0 NVMe sürücüler 7 GB/s sıralı okuma sunarken, SATA SSD'ler 550 MB/s ile modeli yüklerken sistemin dakikalarca yanıt vermemesine yol açar. İdeal bir sunucuda, GPU sayısıyla orantılı olarak en az 2:1 oranında RAM/VRAM kapasitesi bulundurmak, sistem kararlılığı için altın kuraldır. Eğer sisteminizde 512 GB VRAM varsa, en az 1 TB sistem RAM'i ile çalışmak, işletim sistemi süreçlerinin ve diğer arka plan işlemlerinin modelin bellek alanına müdahale etmesini engeller.

Kuantizasyon ve Çıkarım Optimizasyonu

Kuantizasyon, modelin hassasiyetini (precision) düşürerek bellek ayak izini azaltan en etkili yöntemdir. FP16'dan INT8 veya 4-bit (AWQ/GPTQ) formatına geçiş, modelin performansını çok az etkilerken donanım maliyetini 3-4 kat düşürebilir. Ancak burada dikkat edilmesi gereken nokta, kuantizasyonun sadece bellek tasarrufu değil, aynı zamanda hesaplama verimliliği sağlamasıdır. Modern çıkarım motorları (vLLM veya TensorRT-LLM gibi), 4-bit ağırlıkları çalışma anında dekomprese ederek GPU çekirdeklerini daha verimli kullanır. Eğer çok yüksek doğruluk gerektiren bir görevdeyseniz, FP8 kuantizasyonunu tercih edebilirsiniz; bu format, H100 gibi modern GPU'larda donanımsal hızlandırma desteğine sahiptir. Bir diğer kritik nokta ise "PagedAttention" gibi bellek yönetimi tekniklerinin kullanılmasıdır. Bu teknik, KV Cache'in bellek içinde parçalanmasını önleyerek, aynı anda daha fazla kullanıcıya hizmet vermenizi sağlar. Pratik bir ipucu: Eğer modeliniz 4-bit kuantizasyonla bile VRAM sınırlarını zorluyorsa, "Activation Quantization" yöntemlerini araştırın; bu, modelin ağırlıklarıyla birlikte aktivasyon değerlerini de sıkıştırarak ek %20 VRAM tasarrufu sağlar.

Yazılım Yığını ve Ölçeklenebilirlik

Donanımınız ne kadar güçlü olursa olsun, doğru yazılım yığını olmadan potansiyelini kullanamazsınız. DeepSeek modellerini özel sunucuda çalıştırmak için vLLM, yüksek verimli "throughput" değerleri ve düşük gecikme süreleri ile endüstri standardı haline gelmiştir. vLLM'in sunduğu "Continuous Batching" özelliği, gelen istekleri kuyruğa almadan, aktif olanların yanına ekleyerek GPU kullanımını %90'ların üzerine çıkarır. Yazılım tarafında bir diğer önemli bileşen ise "Model Parallelism" stratejisidir. Tensor paralelizmi, tek bir katmanın farklı GPU'lara bölünmesini sağlar ve çok düşük gecikme sunar; ancak yüksek ağ bant genişliği gerektirir. Pipeline paralelizmi ise katmanları GPU'lar arasında böler, bu da daha az ağ trafiği yaratır ancak "pipeline" baloncuğu nedeniyle gecikmeyi artırabilir. Eğer sunucunuzda NVLink yoksa, tensor paralelizmi yerine pipeline paralelizmini tercih etmek, sistemin çökmesini veya "timeout" hataları vermesini engelleyebilir. Her zaman en güncel CUDA sürümünü ve optimize edilmiş "FlashAttention-2" kütüphanesini kullandığınızdan emin olun; bu kütüphaneler, özellikle uzun metinlerde çıkarım süresini ciddi oranda kısaltan temel bileşenlerdir.

Conclusion

Özel sunucularda DeepSeek modellerini çalıştırmak, donanım kapasitesi ile yazılım optimizasyonu arasında hassas bir denge kurmayı gerektirir. VRAM kapasitesini modelin kuantize edilmiş boyutuna göre belirlemek, NVLink gibi yüksek hızlı bağlantı teknolojilerini tercih etmek ve vLLM gibi optimize edilmiş çıkarım motorlarını kullanmak, projenizin başarısı için temel taşlardır. Donanım seçiminde "daha fazla GPU" her zaman "daha hızlı çıkarım" anlamına gelmez; doğru yapılandırılmamış bir çoklu GPU sistemi, iletişim darboğazları nedeniyle tek bir optimize edilmiş karttan daha yavaş çalışabilir. Bu rehberdeki kuralları uygulayarak, hem maliyetleri kontrol altında tutabilir hem de modelinizin performansını en üst düzeye çıkarabilirsiniz. Unutmayın ki, yapay zeka altyapısı statik bir yapı değil, sürekli güncellenen ve optimize edilen bir süreçtir; sisteminizi düzenli olarak izleyerek darboğazları tespit etmek, uzun vadede en büyük verimlilik kazancını sağlayacaktır.