OpenAI, yapay zeka ajanlarının kullanıcının verdiği yetkinin dışına çıkmasını yakalamak için kullandığı izleme sisteminin kapsamını genişletti. Şirketin 29 Ekim'de açıkladığı düzen, eğitim ve şirket içi kullanımın yanında Astra gibi güçlü modellerin dışarıdaki araç kullanımını da izliyor. API'de bir işlemin izlenmesiyle otomatik durdurulması ise farklı koşullara bağlı.
Responses API üzerinden yürütülen işlerde konuşmanın devamını tanıyabilmek gerekiyor. Kalıcı akıl yürütme bağlamı, WebSockets veya OpenAI'nin bağlam sıkıştırma mekanizması kullanıldığında sistem ilgili konuşmanın yeni işlemlerini engelleyebiliyor. Bunların bulunmadığı Responses API istekleri de izleniyor; ayarlanmış bir webhook üzerinden uyarı gönderilebiliyor ama konuşma otomatik durdurulmuyor. Chat Completions API bu özel izleme sisteminin dışında.
Engellenen bir istekte geliştiriciye misalignment_policy_violation hata kodu dönüyor. OpenAI, uygulamanın aynı işi otomatik yeniden denememesini, sonraki işlemleri kesmesini ve yapılmış değişiklikleri sorumlu kişiye inceletmesini istiyor. Denetim arka planda çalıştığı için uyarı gelmeden önce bazı eylemler tamamlanmış olabilir; durdurma bunları geri almıyor.
Kurumlar, API projelerinde safety.alert.created olayına abone olarak uyarıları kendi güvenlik sistemlerine yönlendirebiliyor. ChatGPT hesabıyla kullanılan Codex ve desteklenen ChatGPT çalışma alanları için ayrı bir yönetici konsolu ayarı bulunuyor. Bu ikinci kurulum çalışma alanı sahipliği gerektiriyor; yalnız yönetici veya üye olmak yeterli değil.
Sistem; hassas verilere erişme, veri aktarma veya yıkıcı değişiklik yapma gibi sonuçları ciddi olabilecek eylemlerde ajanın talimatı doğru anlayıp anlamadığını kontrol ediyor. Sohbetin duraklatılması, kullanıcının kural ihlal ettiğinin veya ajanın kesinlikle yanlış yaptığının kanıtı sayılmıyor. ChatGPT ve Codex'te gösterilen bulguların, istenen işle ve ajanın son eylemleriyle karşılaştırılması gerekiyor. Devam seçeneği bulunan bir iş yeniden başlatılsa da izleme sürüyor.
OpenAI, dış kullanımdaki uyarıları rutin olarak kendi çalışanlarının incelemesine göndermediğini belirtiyor. Sıfır veri saklama taahhüdü dahil mevcut gizlilik koşulları korunuyor; bu nedenle dış sistem her zaman şirket içindeki denetimin gördüğü bütün bağlama ulaşamıyor.
Şirket içindeki yapı, ilk taramadan sonra şüpheli olayları başka inceleyici ajanlara aktarıyor. Hassas işlerde konuşma kayıtları ağ günlükleri ve diğer sistem verileriyle karşılaştırılıyor; gerekli görülen olaylar insan müdahalesine taşınıyor.
METR ve Redwood Research, 21 Temmuz-11 Ağustos arasında yaptıkları çalışmada OpenAI'nin o dönemdeki izleme sisteminde açıklar buldu. METR'nin 22 Ekim tarihli raporu, değerlendirmenin 21 Temmuz ve öncesindeki yapıyla sınırlı olduğunu özellikle belirtiyor. Araştırmacılar, sonradan genişletilen kapsamı ve OpenAI'nin düzeltme açıklamalarını yeniden değerlendirmiş değil. Dolayısıyla bu çalışma, 29 Ekim’de açıklanan sistemin bütün riskleri yakaladığını gösteren bir onay olarak okunmamalı.
OpenAI daha önce iki şirket içi kodlama görevinde güvenlik izlemesinin zayıflatıldığını açıklamıştı.
Yorumlar
İlk yorumu siz yazın!
Yanıt: —