Pregled arhitektura velikih jezičkih modela (LLM) u 2025. godini

Analiza ključnih jezičkih modela objavljenih 2024. i 2025. godine otkriva da, iako fundamentalna Transformer arhitektura ostaje osnova, došlo je do značajne evolucije u ključnim komponentama. Tri dominantna trenda definišu trenutno stanje razvoja: 1. uspon Mixture-of-Experts (MoE) arhitektura, 2. potraga za efikasnijim mehanizmima pažnje i 3. oživljavanje linearne pažnje za obradu ekstremno dugih konteksta.

MoE je postao standardna strategija za skaliranje modela na stotine milijardi, pa čak i biliona (triliona po američkom brojnm sistemu) parametara, a da se pritom zadrži efikasnost pri zaključivanju (inference). Modeli kao što su DeepSeek-V3, Llama 4 i Kimi K2 koriste ovaj pristup kako bi povećali kapacitet modela (sposobnost usvajanja znanja) bez proporcionalnog povećanja računarskih troškova po generisanom tokenu. Ključne varijacije unutar MoE dizajna uključuju upotrebu "zajedničkog eksperta" (shared expert), odnos između broja i veličine eksperata, kao i nivo "retkosti" (sparsity) modela.

Paralelno, evolucija mehanizama pažnje se udaljila od standardne Multi-Head Attention (MHA). Grouped-Query Attention (GQA) je postala industrijski standard kao efikasnija zamena, dok modeli poput DeepSeek-V3 i Kimi K2 uvode Multi-Head Latent Attention (MLA), koja kompresuje tenzore ključeva i vrednosti radi uštede memorije. Gemma 3 i GPT-OSS koriste Sliding Window Attention kako bi ograničili pažnju na lokalni kontekst i smanjili memorijske zahteve KV keša.

Najnoviji trend je oživljavanje linearne pažnje, koja rešava problem kvadratne složenosti tradicionalne pažnje. Modeli kao što su Qwen3-Next i Kimi Linear koriste hibridne pristupe, kombinujući linearne blokove (npr. Gated DeltaNet) sa slojevima pune pažnje. Ovaj pristup omogućava obradu konteksta od preko 250.000 tokena, otvarajući nove mogućnosti za modele, iako se još uvek balansiraju performanse i računarska efikasnost. Ostale značajne inovacije uključuju napredne strategije normalizacije (npr. QK-Norm) za poboljšanje stabilnosti treninga i eksperimente sa pozicionim kodiranjem, kao što su No Positional Embeddings (NoPE) i Partial RoPE.

Ključni arhitektonski trendovi i inovacije

Uspon Mixture-of-Experts (MoE) arhitektura

MoE arhitekture predstavljaju ključnu promenu u dizajnu velikih jezičkih modela. Umesto da svaki token prolazi kroz isti, gusti (dense) FeedForward sloj unutar Transformer bloka, MoE pristup koristi više paralelnih "ekspertskih" slojeva (koji su i sami FeedForward mreže). Ruter dinamički bira mali podskup ovih eksperata za obradu svakog pojedinačnog tokena.

• Glavna prednost: Ovaj pristup omogućava drastično povećanje ukupnog broja parametara modela, što povećava njegov kapacitet za učenje i skladištenje znanja, dok broj aktivnih parametara koji se koriste tokom zaključivanja ostaje relativno mali. Na primer, DeepSeek-V3 ima 671 milijardu ukupnih parametara, ali tokom zaključivanja koristi samo 37 milijardi.
• Modeli koji koriste MoE: DeepSeek-V3, Llama 4, Qwen3 (MoE varijante), Kimi K2, GPT-OSS, Grok 2.5, GLM-4.5.

Ključne dizajnerske odluke u MoE

Evolucija mehanizama pažnje

Iako je skalirana dot-product pažnja i dalje srž, njene implementacije su se značajno diversifikovale radi poboljšanja efikasnosti.

• Grouped-Query Attention (GQA): Postala je novi standard, zamenivši Multi-Head Attention (MHA). GQA smanjuje memorijski protok i veličinu KV keša tako što više "query" glava deli iste projekcije ključeva (K) i vrednosti (V). Koriste je Llama 4, Qwen3, Mistral 3.1 i GPT-OSS.
• Multi-Head Latent Attention (MLA): Alternativa GQA koju koristi DeepSeek. MLA kompresuje K i V tenzore u prostor niže dimenzije pre skladištenja u KV keš. Studije u DeepSeek-V2 radu sugerišu da MLA nudi bolje performanse modeliranja u poređenju sa GQA. Koriste je DeepSeek-V3 i Kimi K2.
• Sliding Window Attention: "Lokalni" mehanizam pažnje gde svaki token može da prisustvuje samo ograničenom prozoru susednih tokena. Ovo značajno smanjuje memorijske zahteve KV keša za duge sekvence. Gemma 3 koristi hibridni pristup sa odnosom 5:1 između slojeva sa kliznim prozorom i slojeva sa punom (globalnom) pažnjom. GPT-OSS takođe koristi ovaj mehanizam.

Oživljavanje linearne pažnje

Tradicionalna pažnja ima računarsku i memorijsku složenost od O(n²), gde je n dužina sekvence, što je čini neefikasnom za veoma duge kontekste. Linearna pažnja, sa složenošću O(n), dugo je bila teorijska alternativa, ali sa kompromisima u pogledu tačnosti. U 2025. godini, hibridni modeli su je ponovo učinili relevantnom.

• Hibridni pristup: Modeli kao što su Qwen3-Next i Kimi Linear ne zamenjuju u potpunosti tradicionalnu pažnju. Umesto toga, koriste mešavinu slojeva: većina Transformer blokova koristi efikasnu linearnu varijantu, dok manjina koristi punu pažnju kako bi se zadržala preciznost. Tipičan odnos je 3:1.
• Gated DeltaNet: Ključna komponenta u ovim hibridima. To je varijanta linearne pažnje inspirisana rekurentnim neuronskim mrežama, koja koristi "delta pravilo" i mehanizme gejtinga za ažuriranje stanja, čime se efikasno obrađuju duge zavisnosti.
• Kimi Delta Attention (KDA): Poboljšanje Gated DeltaNet mehanizma korišćeno u Kimi Linear. Umesto skalarnog gejta, KDA koristi gejting po kanalima, što omogućava finiju kontrolu nad memorijom i poboljšava rezonovanje u dugim kontekstima.

Strategije normalizacije i stabilnost treninga

Pravilna normalizacija je ključna za stabilan trening dubokih Transformer modela.

• Pozicioniranje Normalizacionih Slojeva:
  • Pre-Norm: Standardni pristup (popularizovan od strane GPT-2) gde se normalizacioni sloj (obično RMSNorm) postavlja pre modula pažnje i FeedForward sloja. Poboljšava stabilnost gradijenata.
  • Post-Norm: Originalni pristup iz "Attention is all you need" papira. OLMo 2 koristi modifikovanu verziju Post-Norm-a (unutar rezidualne veze) koja dodatno poboljšava stabilnost treninga.
  • Hibridna Normalizacija: Gemma 3 koristi RMSNorm slojeve i pre i posle modula pažnje, kombinujući prednosti oba pristupa.
• QK-Norm: Dodatni RMSNorm sloj koji se primenjuje direktno na tenzore upita (Q) i ključeva (K) unutar mehanizma pažnje, pre primene RoPE. Pomaže u stabilizaciji treninga. Koriste ga OLMo 2 i Gemma 3.
• Per-Layer QK-Norm: Inovacija u MiniMax-M2, gde se ne koristi samo jedan QK-Norm po sloju, već jedinstveni QK-Norm za svaku pojedinačnu glavu pažnje.

Inovacije u pozicionom kodiranju

• Rotary Positional Embeddings (RoPE): I dalje je de facto standard za unošenje pozicionih informacija rotiranjem vektora Q i K.
• No Positional Embeddings (NoPE): Eksperimentalni pristup gde se eksplicitne pozicione informacije u potpunosti izostavljaju. Model uči pozicije implicitno iz kauzalne maske pažnje. Studije sugerišu da ovo može poboljšati generalizaciju na dužim sekvencama. SmolLM3 ga koristi u nekim slojevima, a Kimi Linear u svojim MLA slojevima.
• Partial RoPE: Pristup koji koristi MiniMax-M2, gde se RoPE primenjuje samo na deo dimenzija svake glave pažnje. Smatra se da ovo sprečava "prekomernu" rotaciju u dugim sekvencama i poboljšava ekstrapolaciju.

Analiza ključnih modela

Kompletan izveštaj nalazi se OVDE

Tagovi: #modeli #LLM