Inception, yeni yapay zeka modeli Mercury 3‘ü tanıttı. Şirketin açıklamasına göre model, saniyede 1.000’den fazla token üretebiliyor ve rakiplerinin bazılarına kıyasla 4 ila 8 kat daha yüksek hız sunuyor.
California merkezli şirket, Mercury 3’ün GPT-6 Luna ve Claude Haiku 5.5 gibi hız odaklı modelleri çeşitli performans testlerinde geride bıraktığını öne sürüyor. Model ayrıca 1 milyon tokenlık bağlam penceresiyle büyük miktarda metni tek bir istekte işleyebiliyor.
Mercury 3, Saniyede 1.000’den Fazla Token Üretebiliyor
Mercury 3’ün öne çıkan özelliği, yüksek üretim hızını daha büyük bir model yapısıyla bir araya getirmesi. Inception, yeni modelin ilk nesil Mercury 1’den 40 kattan fazla büyük olduğunu, buna rağmen benzer işlem hızlarını koruduğunu belirtiyor.
Modelin yaygın olarak bulunan NVIDIA GPU’larda saniyede 1.000’den fazla token üretebilmesi, hızlı yanıt gerektiren yapay zekâ uygulamaları açısından dikkat çekiyor. Kod üretimi, yazılım geliştirme araçları ve yoğun etkileşim gerektiren sistemlerde yanıt süresinin kısalması kullanıcı deneyimini doğrudan etkileyebilir.
Bununla birlikte token üretim hızı, tek başına bir modelin ne kadar başarılı olduğunu göstermez. Yanıtların doğruluğu, akıl yürütme performansı, işlem maliyeti ve gerçek kullanım koşulları da değerlendirmeye katılmalı.
Mercury 3 Nasıl Çalışıyor?
Mercury 3’ü geleneksel büyük dil modellerinden ayıran nokta, diffusion adı verilen üretim yaklaşımını kullanması. Geleneksel dil modelleri metni çoğunlukla tokenları sırayla tahmin ederek üretir. Diffusion tabanlı dil modelleri ise birden fazla token üzerinde paralel çalışabilir ve üretilen içeriği aşamalı olarak iyileştirebilir. Bu yaklaşım, uygun koşullarda metin üretimini hızlandırabilir.
Inception, Mercury 3 ile bu mimarinin daha büyük ve yetenekli modellerde de hız avantajını koruyabileceğini savunuyor. Şirketin yaklaşımı, daha yüksek kapasiteye ulaşmak için yanıt süresinden vazgeçilmesi gerektiği düşüncesine alternatif sunuyor. Yine de unutmamak gerekir ki paralel üretim her görevde aynı hız artışını sağlamaz. Sonuçlar, kullanılan donanıma, görev türüne ve modelin yanıtı oluşturmak için kaç işlem aşamasına ihtiyaç duyduğuna göre değişebilir.
Mercury 3’ün 1 Milyon Tokenlık Bağlam Penceresi Ne İşe Yarıyor?
Mercury 3, 1 milyon tokenlık bağlam penceresini destekliyor. Bu kapasite, modelin tek bir istekte çok uzun belgeler, büyük kod tabanları veya geniş bilgi koleksiyonları üzerinde çalışabilmesine imkân tanıyabilir.
Örneğin bir geliştirici, büyük bir yazılım projesinin farklı dosyalarını aynı bağlam içinde incelemek isteyebilir. Benzer şekilde uzun raporları analiz eden ekipler, daha fazla içeriği tek bir oturumda modele sunabilir.