Öne çıkanlar
- Bir geliştirici, RTX 3090 ekran kartında Qwen3.8-27B modelinin hızını 4,6 kat artırdı.
- Spekülatif kod çözme ve özel optimizasyonlar sayesinde hız saniyede 382 token seviyesine çıktı.
- Bilgiler bir geliştiricinin paylaşımlarına dayanmakta olup henüz bağımsız olarak doğrulanmadı.
Yapay zekâ modellerinin metin üretirken yaşadığı yavaşlık sorunu, donanım meraklılarının ve geliştiricilerin odak noktası olmaya devam ediyor. Bu alanda yapılan son çalışmalar, mevcut donanımları değiştirmeden yazılım tabanlı yöntemlerle büyük performans artışları elde edilebileceğini gösteriyor. Geliştirici paylaşımlarına göre, donanım yükseltmesine gerek kalmadan özel çıkarım yığınları kullanılarak yapay zekâ hızlarında dikkat çekici seviyelere ulaşılabiliyor.
Yapay Zekâ Metin Üretimindeki Darboğazlar ve Bellek Sınırlamaları
Yapay zekâ metin üretimindeki yavaşlığın temel sebebi, modelin devasa bilgi ağırlıklarını her bir token (yapay zekâ modellerinin işlediği en küçük metin birimi, kelime veya kelime parçası) için bellekten çekmek zorunda olmasıdır. Bu veri getirme işlemi, ekran kartının işlem gücünü büyük ölçüde boşa çıkarır. NVIDIA’nın üreticisi olduğu RTX 3090 ekran kartı, sahip olduğu 936,2 GB/s bellek bant genişliği sayesinde prompt (komut) işleme ve token üretiminde yetenekli bir yapı sunar; ancak 24 GB VRAM (grafik işlemcinin kendi video belleği) kapasitesi bazı büyük modeller için sınırlayıcı olabilmektedir.
İddialara göre, X platformunda @Oluwaphilemon1 adlı kullanıcının aktardığı ve geliştirici paylaşımlarına dayanan bilgiler, Qwen3.8-27B modelinin tek bir RTX 3090 üzerinde saniyede 82 token seviyesinden saniyede 382 token seviyesine çıkarılabildiğini ortaya koyuyor. Wccftech mobil bölümü muhabiri ve analisti Omar Sohail’in de ele aldığı bu gelişmeler, çıkarım yığınının optimize edilmesiyle GPU donanımını değiştirmeden önemli bir verimlilik kazanılabileceğini gösteriyor.
RTX 3090 ve Qwen3.8-27B Optimizasyon Parametreleri teknik özellikleri
| GPU | NVIDIA RTX 3090 |
|---|---|
| VRAM | 24 GB |
| Bellek Bant Genişliği | 936,2 GB/s |
| LLM Modeli | Qwen3.8-27B |
| Başlangıç Hızı | 82 tok/s |
| Ulaşılan Maksimum Hız | 382 tok/s |
| Bağlam Penceresi | 138.696 token |
Spekülatif Kod Çözme Yöntemiyle Hız Artışı
Reddit üzerinde u/iamMess kullanıcı adıyla bilinen geliştirici, bu donanım darboğazını aşmak için spekülatif kod çözme (hızlı bir taslak model ile ana modelin birlikte çalışarak üretim hızını artırma tekniği) yöntemini ele aldı. Bu teknikte, hızlı bir taslak oluşturucu sonraki token’ları tahmin eder ve ana model bunların hepsini tek geçişte kontrol ederek doğru olanları tutar. Ana modelin son söz hakkına sahip olması sayesinde çıktı değişmez ve yapılan matematik kıyaslamasında doğruluk oranı yüzde 96,5 seviyesinde kaldı.
Geliştirici, Qwen3.8-27B modelinin yerleşik çoklu token tahmini olan MTP (multi-token prediction: modelin kendi sonraki birkaç token’ını tahmin etmesini sağlayan yapı) ayarlanarak tek kullanıcı hızını saniyede yaklaşık 114 token seviyesine çıkardı. Aynı anda yedi token öneren “DFlash2” adlı ikinci bir taslak yöntemi ve konuşma geçmişini tarayarak aynı kelimelerin geleceğini tahmin eden “lookup” (arama) taslak oluşturucusu da sisteme eklendi. Arama taslak oluşturucusu, token üretim hızını saniyede 138 token seviyesine yükseltti. Geliştirici, kontrol adımının DFlash2’nin 7 tokenlik tahmin boyutunda olması gerektiğini varsaydığını ancak arama taslak oluşturucusunun fazladan yuvaları ücretsiz doldurabildiğini belirtti.
Bağlam Penceresi ve Belge Görevlerindeki Performans
Yapılan optimizasyonlar sonucunda motor artık adım başına 16 token kontrol ediyor. Qwen3.8-27B bir belgeyi alıntıladığında 16 tahminden yaklaşık 15’i kabul ediliyor. Bu durum, 25.000 tokenlik belge görevinde hızı saniyede 260 tokenden saniyede 382 tokene çıkardı. Normal bir sohbet akışında ise aynı değişiklik saniyede yaklaşık 133 token hızı sağladı. Daha önceki saniyede 82 tokene kıyasla bu oran günlük kullanım için iyi bir gelişme sunuyor.
Öte yandan geliştirici, modelin çalışma belleğini daha kompakt bir biçimde depolayarak bağlam penceresi (yapay zekâ modelinin aynı anda işleyebileceği ve hatırlayabileceği maksimum token miktarı) boyutunu 138.696 tokene yükseltti. Daha uzun kontrol adımı istek yuvalarının yarısını ve 8.000 tokenlik bağlamı kullandığı için isteğe bağlı olarak çalışıyor. Kompakt bellek biçimi başlangıçta belgeyi okumak için gereken süreyi iki katına çıkarıyor, bu nedenle belgeyi bir kez yükleyip çok sayıda soru sormak gereken durumlara daha uygundur. Metin tekrarlama görevleri dışındaki durumlarda bu mod, standart MTP hızının yaklaşık yarısıyla çalışıyor. Tüm bu paylaşılan bilgilerin geliştirici beyanlarına dayandığı ve şu aşamada bağımsız olarak doğrulanmadığı ifade ediliyor.
