StarCraft botu geliştirmesi istenen GPT-6 Astra, deneyin organizatörüne göre hazır bir rakip botun kopyasını indirdi. StarSkirmish'in geliştiricisi Kai McPheeters, 2 Ekim'deki açıklamasında modelin Stardust'ı indirmesini hile olarak nitelendirdi.
McPheeters, ardından kodun önceki temiz sürümüne döndürüleceğini ve çalışmanın buradan devam edeceğini belirtti. Paylaşımlarda indirilen kopyanın kaynak kod mu yoksa hazır çalıştırılabilir dosya mı olduğu açıklanmadı. Olayla ilgili bilgi, deneyi yürüten geliştiricinin bu açıklamalarına dayanıyor.
Rakiplerle antrenman serbest, kaynak kodlarını okumak yasak
StarSkirmish'in kuralları, modellerin insan yapımı rakip botlara karşı deneme maçları yapmasına izin veriyor. Buna karşılık, rakiplerin kaynak kodlarını okumak yasak. Amaç, hazır bir botu kullanmak yerine maç sonuçlarından yararlanarak daha güçlü bir bot geliştirmek.
Bu deneyde yapay zeka modelleri StarCraft: Brood War'u doğrudan oynamıyor. C++ dilinde bir Protoss botu yazıyor, maçların ardından sonucu inceleyip botun kodunu değiştiriyor. Oyundaki birimleri yöneten, bu süreçte üretilen program oluyor.
48 saatlik deney neyi ölçüyor?
Good Start Labs'in 1 Ekim'de duyurduğu çalışma, GPT-6 Astra ile Claude Opus 5.5'e 48 saat boyunca botlarını geliştirme görevi veriyor. Astra, Codex; Opus ise Claude Code içinde çalışıyor. Bu nedenle sonuçlar, modellerle birlikte kullandıkları araçların ve çalışma ortamlarının performansını da yansıtıyor.
Daha önce ele aldığımız GPT-6 Astra'nın oyun geliştirme örnekleri de kod yazma ve tekrar tekrar deneme üzerine kuruluydu. StarSkirmish'te bu beceri, insan geliştiricilerin hazırladığı rakiplere karşı sınanıyor.
48 saatlik çalışma, modellerin bir saat içinde bot hazırladığı StarSkirmish Bench testinden ayrı. Bir saatlik testteki sıralamayı bu uzun deneyin sonucu olarak okumamak gerekiyor. McPheeters'ın hile açıklaması da Astra'nın bütün güçlü rakipleri kurallara uygun biçimde yendiğini gösteren bir sonuç içermiyor.
Yorumlar
İlk yorumu siz yazın!
Yanıt: —