Uzmanlar Karışımı (Mixture of Experts) Nedir?
İngilizce: Mixture of Experts
Yayın: · Son güncelleme:
Uzmanlar Karışımı (Mixture of Experts) Nedir? Kısaca
Uzmanlar karışımı (mixture of experts, MoE), bir modelin birçok 'uzman' alt ağdan oluştuğu ve her girdi için bir yönlendirici yardımıyla yalnızca birkaç uzmanın çalıştırıldığı mimaridir. Büyük kapasiteyi daha düşük işlem maliyetiyle sunmayı amaçlar.
Uzmanlar karışımı, büyük bir yapay zekâ modelini tek parça bir ağ yerine birçok küçük alt ağın birleşimi olarak kurar. Her alt ağa "uzman" denir. Gelen her token için bir yönlendirici (router), hangi uzmanların çalışacağına karar verir. Böylece modelin toplam parametresi çok büyük olsa da her adımda bunların yalnızca bir kısmı kullanılır.
Nasıl çalışır?
- Model, transformer katmanlarının bazı bölümlerinde tek bir ağ yerine örneğin 8, 16 ya da daha fazla uzman barındırır.
- Yönlendirici her token için en uygun birkaç uzmanı (çoğu zaman 1-2) seçer.
- Seçilen uzmanların çıktıları birleştirilerek bir sonraki katmana aktarılır.
Burada "uzman" kelimesi biraz yanıltıcıdır: Uzmanlar genellikle "finans uzmanı", "tarih uzmanı" gibi insan tarafından belirlenmiş konulara ayrılmaz; eğitim sırasında kendiliğinden farklı kalıplarda uzmanlaşırlar.
Avantajları ve dezavantajları
| Avantaj | Dezavantaj |
|---|---|
| Aynı işlem maliyetiyle daha fazla toplam parametre | Tüm uzmanların bellekte tutulması gerekir |
| Hızlı çıkarım | Eğitimi ve dengelenmesi daha karmaşık |
| Ölçeklenebilir | Uzmanlar arasında yük dengesizliği oluşabilir |
Örnek
Varsayımsal bir MoE modelinin toplam parametre sayısı çok büyük olsun ama her token yalnızca bunların küçük bir bölümünü kullansın. Bu model, aynı toplam boyuttaki "yoğun" bir modele göre daha hızlı cevap üretebilir. Ancak yerel bilgisayarda çalıştırmak istersen bütün uzmanları belleğe sığdırman gerektiği için yine yüksek VRAM ya da RAM ihtiyacı doğar.
Nelere dikkat etmeli?
Model kartlarında MoE modelleri için genellikle iki sayı verilir: toplam parametre ve aktif parametre. Hız tahmini için aktif, bellek tahmini için toplam parametreye bakmak gerekir.
Sıkça Sorulan Sorular
MoE modelleri daha mı akıllıdır?
Mimari tek başına zekâ garantisi değildir. MoE, aynı işlem bütçesiyle daha büyük kapasite sağlayarak daha iyi sonuç almayı kolaylaştırabilir; ancak başarı eğitim verisine ve yöntemine de bağlıdır.
MoE modeli evde çalıştırmak kolay mı?
İşlem açısından görece hafif olsa da tüm uzmanların bellekte tutulması gerektiği için bellek ihtiyacı yüksektir. Niceleme gibi yöntemler bu ihtiyacı azaltabilir.