Büyük bir yapay zekâ modeli tek bilgisayarın belleğine sığmadığında Microsoft’un önerdiği çözüm, modeli küçültmek yerine işi birkaç bilgisayara bölmek. Şirketin 19 Kasım’da duyurduğu RDMA over USB4 geliştirici önizlemesi, USB4 kablolarıyla doğrudan bağlanan en az iki uyumlu Windows PC’nin belleğinden ve grafik işlem gücünden aynı model için yararlanmayı amaçlıyor.
RDMA, verinin iki bilgisayarın belleği arasında aradaki yazılım kopyalarını azaltarak taşınmasını sağlıyor. Uygulamalar bağlantıyı, Windows’un sunucu ağ kartlarında da kullandığı NetworkDirect arayüzü üzerinden görüyor. Microsoft, tek bir modelin hesaplamasını bilgisayarlara bölen bir llama.cpp uyarlaması hazırladı. Yani bilgisayarları birbirine bağlamak tek başına yeterli değil; modeli çalıştıran yazılımın da bu yöntemi desteklemesi gerekiyor. Bu çalışma, Windows ML’nin tek bilgisayarda yerel model çalıştırmaya yönelik deneysel GGUF desteğinden ayrı.
Önizleme için Windows’un yönettiği USB4 bağlantıları ve her bilgisayar çifti arasında doğrudan bir kablo gerekiyor. Örneğin üç bilgisayarın birbirine bağlanabilmesi için her cihazda iki USB4 bağlantı noktası bulunmalı. Microsoft, test imzalama gereksinimi nedeniyle günlük kullanılan cihazlar yerine ayrı test bilgisayarları öneriyor.
Microsoft’un duyurusuna göre örnek kod ve açık kaynak bağlantı bileşeni erişime açık. Özelliği çalıştırmak için gereken Windows Insider sürümü ise henüz yayımlanmadı; şirket bu sürümü Experimental kanalının Future Platforms kolunda sunacak. Genel dağıtım tarihi açıklanmadı.
Yorumlar
İlk yorumu siz yazın!
Yanıt: —