Bilgisayarda yapay zeka kullanmak söz konusu olduğunda artık sadece tarayıcıdan bir sohbet ekranı açmaktan bahsetmiyoruz. İsterseniz ChatGPT gibi bulut tabanlı servisleri kullanmaya devam edebilirsiniz ama bilgisayarda yapay zeka nasıl kullanılır sorusunu yanıtlarken de değineceğimiz üzere bulut çözümlerin yerine dilerseniz modelleri doğrudan kendi bilgisayarınızda çalıştırmayı da düşünebilirsiniz.
Tabii, şunun altını çizmek istiyorum: ikinci seçenek bazı kişilere avantajlı olurken bazılarına da dezavantajlı olabilir. Bulut tabanlı yapay zeka araçlarını tercih ederseniz bilgisayarınızın donanınımının ne kadar güçlü olduğunun önemi olmaz ancak yerel olarak çalıştırmak isterseniz işte o zaman düşünmeniz gereken birçok unsur devreye girecektir: modelin büyüklüğü, donanım… Dilerseniz gelin, önce bilgisayarda yapay zeka ile neler yapabileceğinizi ele alalım. Ardından yapay zekayı tamamen kendi bilgisayarınızda çalıştırmaya geçebiliriz.
Bilgisayarda Yapay Zeka ile Neler Yapılabilir?
Bilgisayarınızda yapay zekayı birçok amaçla kullanabilirsiniz. Yazı yazmak, düzenlemek, kod yazmak, kodlardaki hataları tespit etmek, belgeleri özetlemek, fikir üretmek, araştırma yapmak ve dosyaları analiz etmek, bunlara verilebilecek en önemli örnekler arasında.
Yapay zeka sadece Gemini ve ChatGPT gibi sohbet botlarından ibaret değil. Bilgisayarınızda çalışırken yapay zeka da arka planda dosyalarınızı ve uygulamalarınızı yönetebilir. Bir metni ona verip düzenlemesini isteyebilirsiniz ya da uzun bir belgeyi özetlemesini talep edebilirsiniz. Ayrıca bir projeye başlayacak ancak hiç teknik bilginiz yoksa da yapay zeka sizin için tüm süreci üstlenebilir.
Bilgisayarda Yapay Zeka Kullanmanın En Basit Yolu Nedir?
Bilgisayarda yapay zeka kullanmanın en kolay yolu, bulut tabanlı yapay zeka araçlarını kullanmak. Bu yöntemde modeller sizin bilgisayarınızda çalışmaz. Tüm işlemler uzak sunucuda gerçekleşir. Bu sayede bilgisayarınızın çok güçlü olmasına da gerek kalmaz.
Açıkçası ben bilgisayarda yapay zeka kullanmak isteyenlerin bulut tabanlı çözümlere yönelmesini daha mantıklı buluyorum. Hiç donanıma bütçe ayırmanıza gerek kalmıyor. Tabii, nihai kararı vermeden önce gereksinimlerinizi göz önünde bulundurmanız da önemli. Örneğin maksimum gizlilik ve kontrol istiyorsanız yapay zeka modellerini direkt kendi bilgisayarınızda kullanmayı da tercih edebilirsiniz.
Açık Modellerle Bilgisayarda Yapay Zeka Nasıl Kullanılır?
Bilgisayarınızda yapay zeka kullanmak istiyorsanız bunun için açık kaynak modellere yönelebilirsiniz. Bu yöntemde model bilgisayarınıza indirilir, işlemler tamamen kendi cihazınız üzerinde gerçekleştirilir. Aramaya ihtiyacınız yoksa internet bağlantısı bile olmadan dilediğiniz gibi kullanabilirsiniz.
Kulağa harika geliyor, değil mi? Ama bilmeniz gereken bazı hususlar da var. Şunu net bir şekilde belirtelim: Önemli olan yapay zeka modeli indirmek değil, onu çalıştıracak donanım. Güçlü bir ekran, yüksek VRAM kapasitesi her şeyden önemli.
Buna ek olarak, her modelin aynı kapasitede olmadığını da bilmelisiniz. Büyük modeller, kapalı kaynak modellerin çoğuyla yarışacak seviyede olabiliyor ama bunları çalıştıracak kadar güçlü bir sisteminiz yoksa hâliyle küçük modellere yönelmeniz gerekiyor. Sorun şu ki bunlar her zaman yeterli olmayabiliyor.
Küçük Modeller Neden Bazen Yetersiz Kalıyor?
Küçük parametreli modeller bugün kesinlikle iş görür. Fakat hangi işte kullandığınıza bağlı olarak elde edilen sonuçlar değişiyor. Basit bir metin oluşturmak, belirli bir formatta çıktı almak, bazı özetleme işleri yapmak gibi işlemler için küçük bir model yeterli olabilir.
Asıl sorun, GPT gibi gelişmiş modellere alışanların karşısına çıkıyor. Küçük bir modeli ilk kullandığınızda aradaki farkı hemen hissedersiniz. Çünkü olay sadece modelin cevap verebilmesinden ibaret değil. Soruyu ne kadar iyi anladığı, konuşmanın önceki bölümlerine ne kadar bağlı kaldığı, belirsiz bir isteği nasıl yorumladığı, verdiğiniz talimatlara ne kadar sadık kaldığı ve ortaya çıkan cevabın isteminizle ne kadar uyumlu olduğu da önemli.
Küçük bir model bazı sorulara gayet düzgün cevap verirken çok adımlı talimatlarda kafa karışıklığı yaşayabiliyor. Şahsen son zamanlarda açık modellere epey ağırlık verdim. Çok küçük bir modeli test ettim ve Türkçe yanıtlarda tabiri caizse rezalet sonuçlar elde ettim.
Büyük Model Her Zaman Daha mı İyi Olur?
Modelin parametre sayısına bakarak iyi ya da kötü diye ayrım yapmak zor. Eğitim verileri, model mimarisi, bağlam penceresi ve hangi görevlerde kullanılacağı daha önemli. Tabii, genel olarak küçük modellerin yanında epey iyi durumda olacakları aşikâr.
Ollama ve LM Studio Ne İşe Yarıyor?
Ollama ve LM Studio, açık kaynak modelleri bilgisayarınızda çalıştırmanızı sağlıyor. Bu araçların temel amacı, modelleri bilgisayarda çalıştırmayı kolaylaştırmak. Model indirme, çalıştırma ve modellerle etkileşim kurma süreçlerini daha basit hâle getiriyorlar.
Eğer bu modelleri bilgisayarınızda çalıştırmakta kararlıysanız benim size önerim kesinlikle rastgele küçük bir model indirmek yerine modeli ne için kullanacağınızı göz önüne almanız olur. Çünkü bilgisayarınızda çalışan bir modeli bulmak çok kolay. Önemli olan, sizin işlerinizi gören bir model bulmak.
Yapay Zeka İçin Güçlü Bilgisayar Gerekiyor mu?
Yapay zeka için her zaman güçlü bir bilgisayara ihtiyacınız yok. Küçük modelleri çok iyi olmayan sistemlerde de çalıştırabilirsiniz. Hatta bazı modeller ekran kartı yerine işlemci üzerinden de çalışabilir. Fakat model büyüdükçe iş değişiyor. Daha büyük modeller daha fazla bellek ve hesaplama gücü istiyor. Bu noktada özellikle VRAM kapasitesinin de önemi artıyor. O yüzden seçeceğiniz model bu kadar önemli.
Yerel Yapay Zeka mı, Bulut Yapay Zeka mı?
Benim bu konudaki düşüncem net: Local AI yani yerel yapay zeka gereksiz değil. Tam tersine, mahremiyet, internetsiz kullanım, deneme yapma, otomasyon ve bazı özel işler için çok kıymetli. Ama güçlü modeller söz konusu olduğunda iyi bir donanım da şart oluyor.
İyi bir sisteme ayıracak bütçeniz yoksa ben bulut tabanlı çözümlere yönelmenizi öneriyorum. Bulut tabanlı yapay zekaya yönelecek kişilerin mutlaka kapalı kaynak modellere bağlı kalması şart değil. Açık kaynak veya open-weight modelleri de değerlendirebilirsiniz.
Sıkça Sorulan Sorular
Yerel yapay zeka internetsiz çalışır mı?
Model bilgisayarınıza kurulmuşsa temel model çalışması için internet bağlantısı gerekmeyebilir. Ancak kullandığınız uygulamanın veya ek özelliklerin internet bağlantısına ihtiyaç duyabileceğini unutmamak gerekir.
12 GB VRAM ile yapay zeka çalışır mı?
Evet. 12 GB VRAM ile çeşitli yerel modeller çalıştırılabilir. Ancak hangi modelin hangi hızda ve hangi ayarlarla çalışacağı modele göre değişir.
Küçük yapay zeka modelleri işe yarıyor mu?
Evet, özellikle belirli ve sınırlı görevlerde işe yarayabilirle fakat gelişmiş çok amaçlı modellere alışmış bir kullanıcı, küçük modellerin anlama ve talimat takip etme kapasitesini yetersiz bulabilir.
Yerel yapay zeka daha mı ucuz?
Herkes için değil. Modeli kendi bilgisayarınızda çalıştırdığınız için kullanım başına ayrıca bir ücret ödemezsiniz. Gelgelelim, güçlü bir ekran kartı, yüksek VRAM, elektrik tüketimi ve donanım maliyeti hesaba katıldığında toplam maliyet de artabilir.