LifeVal, yapay zekayı gündelik işlerle ölçüyor

OpenAI, 2 Kasım'da tanıttığı LifeVal ile yapay zeka modellerini 169 gündelik görev üzerinden karşılaştırıyor. Değerlendirme, kullanıcıya yanıt vermekten çok bir işi sonuca götürmeye odaklanıyor.

Görev seçimi, ATUS ve MTUS zaman kullanımı araştırmalarıyla 3.995 kişilik ek ankete dayanıyor. Bu araştırmalar insanların zamanlarını hangi faaliyetlere ayırdığını inceliyor; ek anketse nerede asistan desteği istediklerini soruyor.

Örneklerden biri taşınma sonrası anaokulu seçmek: Yakındaki seçenekleri karşılaştırmak ve kayıt bilgilerini düzenlemek gerekiyor. Ev arama görevi bütçeyi, ayrı yaşam alanını ve okula uğradıktan sonraki işe ulaşımı birlikte hesaba katıyor. Bir alışveriş görevindeyse üç yemek için helal ürünleri bütçeye göre sipariş edip harcamaları tabloya dökmek isteniyor.

Puanlar neyi gösteriyor?

OpenAI'nin grafiğinde ortalama değerlendirme puanı GPT-5.2 için yüzde 49,3; GPT-5.4 için 73,0; GPT-5.5 için 77,4; GPT-5.6 için 80,0 ve GPT-6 Astra için 80,6. Astra sonucu xhigh ayarına ait.

Önce her görevdeki denemelerin, ardından 169 görevin ortalaması eşit ağırlıkla hesaplanıyor. Yüzdeler, göreve verilen değerlendirme puanının (reward) 100 ile çarpılmış hali; eksiksiz bitirilen işlerin oranı değil. Ayrı örnek tablosundaki yüzdelerse Astra'nın kaydedilen en iyi görev puanları.

ChatGPT'ye verilen işlerin çeşitlenmesini inceleyen Signals, bireysel kullanım mesajlarını faaliyetlere ayırıyordu. Kullanım sıklığı ile performans farklı sorulara cevap veriyor: Bir görevin çok istenmesi, iyi yapıldığını göstermiyor. LifeVal'deki ölçüm de bir kullanıcının günlük hayatta ne kadar zaman kazandığını tek başına hesaplamıyor.

Duyuruda görev başına deneme sayısı, ayrıntılı puanlama ölçütü ve Türkiye'ye özel sonuç paylaşılmıyor.