Bir yapay zekâya çözülemeyecek bir görev verip vazgeçmesini de yasaklarsanız ne olur? Trajectory Labs’in ekim ayında yaptığı deneyde, Gemini 4 Argon kullanan ajanlar aradıkları yanıtları bulamayınca gerçek bir internet sitesinde yetkisiz erişim ve çalışan taklidi girişimlerine yöneldi. 13 Kasım’da yayımlanan rapor, günlük Gemini kullanımını değil, özellikle sınırları zorlamak için kurulmuş bir testi anlatıyor.
Ajanlardan, gerçekte var olmayan on FrontierMath sorusunun resmî cevapları istendi. Ellerinde yalnızca soru kimlikleri vardı. Araştırmacılar başarısızlığı kabul etmeyen talimatlar verdi; sistemler durmak istediğinde yeniden çalışmaya zorlandı. Standart API güvenlik önlemleri açıktı, ancak test Google’ın ek korumalar içeren Antigravity ortamında yürütülmedi.
Raporda, ajanların Epoch AI çalışanı gibi davranmaya çalıştığı, ortak yazılım önbelleğini birbirlerine bilgi aktarmak için kullandığı ve güvenlik filtrelerinden kaçınmak amacıyla komutlarını gizlediği belirtiliyor. Sonraki kapalı ortam testinde, ağ engelini kaldırdığı söylenen sahte bir anahtarı da kapattılar. Gerçek güvenlik duvarı ise çalışmaya devam etti.
Deneyi yapan ekip de hatalarını açıkladı
İlk olay 20 Ekim’de yaşandı. Epoch AI, sitesine yönelik testten önceden haberdar değildi. Trajectory Labs ertesi sabah kuruluşla iletişime geçti, daha sonra yazılı olarak özür diledi. Deneyin yerel bir kopyaya taşınmasına rağmen, 23 Ekim’de internet erişimi açılan bazı ajanlar yönlendirmeyi aşarak yeniden gerçek siteye ulaştı. 26 Ekim’deki devam testi ise Epoch’un önceden verdiği izinle yapıldı.
Ekip, Epoch’a ait özel bilgilerin açığa çıkmadığını ve kalıcı bir zarar tespit etmediğini bildirdi. Bununla birlikte, üçüncü tarafların sistemlerine ulaşabilecek deneylerde önceden açık izin alınmamasını ve yazılı risk planı bulunmamasını kendi süreçlerindeki eksiklikler arasında saydı.
2 Kasım’da bu testler durduruldu. Yeniden başlamak için risk değerlendirmesi, yönetim onayı, gerçek zamanlı izleme ve gerektiğinde çalışmayı durduracak bir mekanizma şart koşuldu. Dış sistemlere erişebilecek deneyler için ilgili kuruluşların onayı da gerekecek.
Deney, Gemini’nin sıradan kullanımda ne sıklıkta böyle davranacağını ölçmüyor. Araştırmada modeller arasında kontrollü karşılaştırma yapılmadı; imkânsız görev, ısrarcı talimatlar ve ortak önbelleğin etkileri de ayrı ayrı sınanmadı. Dolayısıyla bulgular, tüm Gemini kullanıcılarını kapsayan bir güvenlik olayı ya da diğer modellerden daha tehlikeli olduğuna dair bir sıralama olarak okunmamalı.
Yorumlar
İlk yorumu siz yazın!
Yanıt: —