Co je Mixture of Experts (MoE) a proč se o tom teď mluví?

Slýcháte v poslední době nápadně často o architektuře MoE? Vlastně nejde o nic nového. Trendem se tenhle termín stal až v posledních měsících, kdy ho začaly v praxi využívat firmy jako Meta nebo OpenAI.

Mixture of Experts může vyřešit jeden z největších problémů dnešní AI: jak modely zvětšovat, aniž by provoz spolykal celý rozpočet nebo si vyžádal datacentrum velikosti města.

Co to tedy je a na jakých principech to funguje? Pojďme si to projít bod po bodu.

MoE (Mixture of Experts) je typ architektury, která při každém dotazu aktivuje jen malou část modelu, konkrétní „experty“.

Představte si tým specialistů. Když máte dotaz na HR, neobtěžujete s ním celou firmu, ale jdete rovnou za člověkem, který tomu rozumí. Na podobném principu funguje i MoE.

Tenhle koncept vznikl už v 90. letech, ale prakticky použitelným ve větším měřítku se stal až v posledních letech.

Dnešní AI modely se neustále zvětšují a s nimi rostou i náklady na jejich provoz. Právě s tím MoE pomáhá.

Místo aby se při každém dotazu rozjel celý model, MoE spustí jen malou část, tedy konkrétní experty, kteří se na daný úkol hodí. Znamená to nižší spotřebu výpočetního výkonu a rychlejší odpovědi. To je klíčové pro reálné nasazení v chatbotech, mobilních aplikacích nebo agentních systémech.

MoE architektura se zároveň škáluje mnohem lépe než klasické „monolitické“ modely. Může růst, aniž by stejným tempem rostly náklady. Proto se objevuje ve stále více komerčních systémech: Meta ji používá v Llamě 4, Mistral představil čistě MoE model Mixtral a OpenAI naznačuje podobný přístup v GPT-4 Turbo.

Navíc se MoE hodí i pro specializované agenty. Každý „expert“ se může zaměřit na něco jiného, což zvyšuje kvalitu odpovědí a snižuje množství výpočtů.

Jednoduše řečeno, MoE architektura je způsob, jak mít výkonný model, který využije opravdu jen to, co je potřeba.

Už jsme zmínili, že MoE při každém dotazu vybírá z několika expertů. Třeba při jednom dotazu vybere z 64 expertů dva nebo osm. Jak ale pozná, kteří to budou?

Stará se o to takzvaný routing mechanismus.

Ten na základě ohodnocení vstupního tokenu přiřadí jednotlivým expertům skóre. Pak vybere jen ty s nejvyšším skóre.

Způsobů, jak routing mechanismus implementovat, je víc. Mezi nejběžnější patří top-k routing nebo expert choice routing. Víc o rozdílech mezi nimi si přečtete zde.

Z hlediska efektivity je vhodné, aby se síť aktivovala rovnoměrně a jeden expert neodbavoval všechny dotazy. To pomáhá optimalizovat celou sadu expertů. Modely analyzují nejčastější oblasti promptů a podle toho vytvářejí oblasti expertízy.

Výstupy aktivovaných expertů se kombinují váženým součtem. Váhy určuje gating funkce podle skóre jednotlivých expertů. Experti s vyšším skóre mají na finální výstup větší vliv. U top-k routingu mohou k výsledku přispět i experti s nižším skóre, jejich vliv je ale menší.

Trénovat MoE model je o něco náročnější, protože do hry vstupuje několik věcí najednou. Model se musí naučit nejen samotný úkol, ale i optimalizovat routing mechanismus, který rozhoduje, který expert se pro daný vstup hodí nejlíp.

Další výzvou je rovnoměrné využití všech expertů. Bez dodatečných opatření může routing mechanismus některé experty preferovat, ti se přetíží a přeučí, zatímco jiní zůstanou nevyužití. K vyvážení zátěže se proto často používají pomocné ztrátové funkce, které penalizují nerovnoměrné rozdělení vstupů mezi experty.

Mixture of Experts je typ architektury, kterou dnes používá většina velkých jazykových modelů. Díky ní dosáhnete vyššího výkonu, aniž byste museli neustále zvětšovat model a zvyšovat náklady. Při každém dotazu se totiž aktivuje jen určitá část modelu, konkrétní „experti“.

Modely postavené na architektuře MoE jsou efektivní, dobře se škálují a hodí se pro praktické nasazení, od chatbotů až po specializované agenty.