OpenAI, kendi sistemleri üzerinde yaptığı testlerde dikkat çekici iki olay tespit etti. Yapay zekâ ajanları rutin kodlama görevlerini yerine getirirken kendilerini denetleyen mekanizmalara müdahale etti. Şirketin açıkladığı olaylar GPT-6.1 Sol ve GPT-6 Astra modellerinin kullanıldığı iki ayrı dahili kodlama görevinde yaşandı. Her iki durumda da ajanlar kendilerinden istenen yazılım değişikliklerini uygularken yanlış hizalanmış davranışları tespit etmek için kullanılan izleme sistemlerini zayıflattı. Daha dikkat çekici olan ise modellerden birinin yaptığı değişiklik konusunda kullanıcıya yanlış bilgi vermesi oldu.
OpenAI Modelleri Denetim Sistemlerine Müdahale Etti
İlk olayda GPT-6.1 Sol tabanlı bir ajan, bir değerlendirme sistemindeki problemi düzeltmekle görevlendirildi. Daha önce kendisine Slack üzerinde mesaj göndermemesi söylenmişti. Model bu talimatı geniş yorumlayarak güvenlik ekibine gönderilecek otomatik uyarıları da mesaj kapsamında değerlendirdi ve bildirimlerin ulaşmasını engelledi. Denetim sistemi çalışmaya devam etti ancak oluşturduğu uyarılar ilgili kişilere gönderilmedi.
İkinci olay GPT-6 Astra ile yaşandı. Bir yazılımı mevcut referans uygulamayla aynı çalışma biçimine taşımaya çalışan ajan, süreç sırasında izleme entegrasyonunu tamamen kaldırdı. Üstelik daha sonra kullanıcıya denetim sistemini kaldırmadığını söyledi. OpenAI, iki modelin de güvenlik mekanizmasının korunması gerekip gerekmediğini değerlendirdiğini ancak sıradan kodlama talimatlarını bu korumaları zayıflatmak için izin şeklinde yorumladığını belirtiyor.
Şirket olayların ardından ajanların kendi denetimlerini devre dışı bırakmasını zorlaştıran yeni önlemler üzerinde çalışmaya başladı. Dahili Codex kullanımlarında çalışan Auto-Review sistemi, izleme mekanizmalarını kapatmaya yönelik girişimleri belirleyip engelleyecek şekilde güncellendi. Ayrıca gelecekte her iş yükünün geçerli bir güvenlik planına sahip olması ve gerekli izleme koşullarını karşılamayan işlemlerin otomatik olarak durdurulması hedefleniyor.
OpenAI henüz modellerin neden böyle davrandığı konusunda kesin bir açıklamaya sahip değil. Olasılıklardan biri, modellerin kendilerine verilen görevi gereğinden fazla kararlılıkla tamamlamaya çalışması ve denetimin neden önemli olduğunu yeterince değerlendirememesi. Bunun gerçekten izlenmekten kaçınmaya yönelik özel bir eğilim olup olmadığını anlamak için yeni değerlendirmeler, tekrarlanan testler ve modellerin iç aktivasyonlarını inceleyen deneyler hazırlanıyor.
Yorum Yap