NVIDIA, yeni GPT-OSS açık model ailesini kullanıcılara sunmak için OpenAI ile olan iş birliğini duyurdu. Bu iş birliği sayesinde daha önce sadece bulut veri merkezlerinde kullanılabilen ileri seviye yapay zeka teknolojilerinin RTX destekli PC’lerde yüksek hızla çalışmasına imkân tanıyor.
OpenAI’ın GPT-OSS Ailesi, İki Modelden Oluşuyor
OpenAI’ın GPT-OSS açık model ailesi, iki modelden oluşuyor:
- GPT-OSS-20b modeli, en az 16 GB VRAM’e sahip NVIDIA RTX AI PC’lerde yüksek performansta çalışıyor. Bir RTX 5090 CPU üzerinde saniyede 250 token’a kadar üretim yapılabiliyor.
- GPT-OSS 120b modeli, NVIDIA RTX PRO GPU’lar ile hızlandırılmış iş istasyonları için destekleniyor.
Bu iki model, NVIDIA H100 GPU’ları üzerinde eğitildi. NVIDIA RTX’te MXFP4 hassasiyetini destekleyen ilk modeller olma özelliğini taşıyor.
MXFP4, eski yöntemlere kıyasla performans kaybı olmadan model kalitesini ve doğruluğunu arttıran bir teknik. Yerel çıkarımda (local inference) iki model de en uzun bağlam uzunluklarından bir iolan 131.072 bağlam uzunluğunu destekliyor.
Modeller, esnek bir MoE (Mixture-of-Experts) mimarisi üzerine kuruldu. Düşünce zinciri (chain-of-thought) yeteneklerinin yanı sıra talimat takibi (instruction-following) ve araç kullanımı desteği sağlıyor.
OpenAI’ın Yeni GPT-OSS Modelleri Nasıl Çalıştırılır?
RTX AI Garage, NVIDIA RTX GPU’lar üzerinde OpenAI’ın en yeni modellerinin nasıl çalıştırılacağını öne çıkarıyor:
- Ollama Uygulaması: Bu modelleri test etmenin en kolay yolu, yeni Ollama uygulamasını kullanmayı içeriyor. Kullanıcı arayüzü, RTX GPU’lar için tam optimize edilmiş GPT-OSS modellerini ek kurulum gerektirmeden destekliyor.
- Llama.cpp: NVIDIA, RTX GPU’larda performansı optimize etmek için açık kaynak topluluğu ile iş birliği yapar. Bu katkıların arasında yükü azaltmaya yardımcı olan CUDA Graphs da bulunuyor. Geliştiriciler, Llama.cpp GitHub deposu üzerinden çalışmaya başlayabilir.
- Microsoft AI Foundry: Windows geliştiricileri, modellere Microsoft AI Foundry Local üzerinden de erişebilir. Başlamak için terminalde şu komutun çalıştırılması yeterli: Foundry model run gpt-oss-20b.
Yorum Yap