Generatieve AI werkt goed, maar alleen als je er enorm veel middelen in steekt. Dat komt door het onnodig rekenintensieve attention-mechanisme van de transformermodellen. Dat wordt steeds meer een knelpunt: zuinige alternatieven zoals xLSTM en Kimi Linear krijgen steeds meer aandacht – vooral bij industriële toepassingen.
Nieuwe AI-architecturen pakken de zwakke plek van transformers aan
De experimentele chatbots van vroeger ontwikkelen zich tot krachtige AI-agents, met een bijna onmetelijke behoefte aan en verbruik van middelen: meer trainingsdata, meer grafische kaarten, meer RAM, meer tokens. De rekening betaal je, want er wordt inmiddels afgerekend op basis van tokenverbruik.
En ook de rest van de wereld lijdt onder de schaarste aan belangrijke componenten en stijgende prijzen – naast de dreigende strijd om de verdeling van water en elektriciteit. Maar dat generatieve AI zo ontzettend veel rekenkracht nodig heeft, is geen natuurwet. Het ligt aan de centrale bouwsteen van de taalmodelarchitectuur: het attention-mechanisme.
Dat uiterst rekenintensieve proces is niet alleen de belangrijkste oorzaak van de enorme energiehonger van generatieve AI, maar vormt inmiddels ook een merkbaar knelpunt waar zelfs de Nvidia’s van deze wereld met al hun grafische kaarten maar moeilijk tegenop kunnen. Het gebruikte attention-mechanisme beperkt de mogelijke contextlengte: de hoeveelheid inhoud die een taalmodel bij een taak kan verwerken.
De gevestigde spelers zoals OpenAI en andere redden zich met rekentrucs, terwijl start-ups en onderzoekers op zoek zijn naar verbeterde of alternatieve architecturen. En met succes: de Long Short Term Memory-netwerken (LSTM’s), die vroeger in Siri en Alexa werden gebruikt maar niet geschikt waren voor omvangrijke teksten, maken een comeback in een gemoderniseerde, uitgebreide versie genaamd xLSTM.
Ook de transformervariant Kimi Linear, ontwikkeld in de laboratoria van de Chinese start-up Moonshot AI onder leiding van AI-pionier Sepp Hochreiter, bouwt voort op de efficiënte geheugenfuncties van LSTM. Beide modelvarianten verminderen de rekenkracht die nodig is drastisch in vergelijking met het oorspronkelijke attention-algoritme.
In dit artikel leggen we uit hoe ze dat voor elkaar krijgen en of de dagen van de transformers, die met miljarden aan investeerdersgeld is gepromoot, daardoor geteld zijn.
Lineaire complexiteit
Het probleem van het attention-mechanisme kun je in een paar woorden omschrijven: het heeft kwadratische complexiteit. Een simpel rekenvoorbeeld laat zien welke omvang dat kan aannemen bij grote taalmodellen. Kwadratische complexiteit oftewel O(n²) betekent dat bij een invoer van n tokens de berekening van de uitvoer n² operaties vereist.
Als je, om het simpel te houden, een token gelijkstelt aan een woord, zou dat bij een zin met 10 woorden dus 100 bewerkingen zijn, bij 1000 woorden al een miljoen en bij 10.000 al 100 miljoen.
Bij de transformer komt die ongunstige verhouding voort uit het feit dat het attention-blok voor elk woord in een zin moet berekenen hoe groot de betekenis ervan is voor elk ander woord in die zin, oftewel hoe waarschijnlijk het is dat die twee samen voorkomen.
Die vorm van attention-mechanisme wordt self-attention genoemd. Tijdens de trainingsfase van een groot taalmodel (Large Language Model, LLM) levert de rekeninspanning die daardoor ontstaat geen onoplosbare problemen op. In die fase is het verbruik van resources weliswaar enorm, maar de rekeninspanning is goed te overzien. Dat komt door de even eenvoudige als slimme trainingsstrategie: LLM’s leren aan de hand van eenvoudige zinsfragmenten om zinnen aan te vullen door het volgende woord te voorspellen.
Die voorspelling wordt vergeleken met het juiste antwoord (ground truth). Als het model het bij het verkeerde eind heeft, worden de parameters automatisch bijgesteld op basis van de aard en ernst van de fout. Het ongetrainde model heeft nog geen enkel gevoel voor grammatica en andere taalkundige of inhoudelijke verbanden. Het maakt daardoor veel fouten.
Uiteindelijk, nadat het miljoenen trainingsvoorbeelden heeft verwerkt, is het niet alleen in staat om dubbelzinnige woorden zoals bank op basis van de context correct te interpreteren, maar ook om zelf grammaticaal correcte, zinvolle teksten te produceren. Het gereedschap daarvoor zit bij de transformer in het attention-mechanisme. Dat heeft als taak om voor elk woord in een zin of een langere tekst uit te zoeken hoe sterk het verband is met elk ander woord.
Verbanden leggen
Het model gebruikt de sterkte van deze talloze verbanden (die tijdens de training voortdurend worden bijgewerkt) als leidraad bij het zoeken naar een zo zinvol mogelijk volgend woord. Het is best logisch dat de band tussen begrippen die vaak samen voorkomen in de trainingsvoorbeelden, sterker wordt telkens als ze weer opduiken: bijvoorbeeld tussen bank, geld, geldautomaat en pinnen, maar ook tussen bank, zitten en park in een heel andere context.
Ze geven de tekstgenerator het signaal dat hij ‘Een man gaat op een bank zitten om …’ logischerwijs voortzet met ‘uit te rusten’ en ‘Een vrouw gaat naar de bank om …’ beter met ‘geld op te nemen’. Maar afgezien van de context zijn er nog talloze andere criteria waar het attention-block zijn aandacht op richt: bijvoorbeeld op de juiste interpunctie, relaties tussen onderwerp en werkwoord of veelvoorkomende combinaties van bijvoeglijke naamwoorden en zelfstandige naamwoorden.
Tokens, woorden en tekens.
Tokens kunnen hele, meestal korte of veelgebruikte woorden zijn (zoals ‘huis’), maar ook woorddelen (zoals ‘on-gelooflijk’) of losse tekens (zoals spaties, leestekens of speciale tekens). Een op woorden gebaseerde aanpak werkt niet goed voor modellen die meerdere talen moeten begrijpen. Voor Engels (en Nederlands) komen 100 tokens overeen met ongeveer 75 woorden. Bij Chinees, Arabisch of Japans vallen vaak één of twee tekens onder één token.
Nuances
Om zoveel mogelijk taalkundige en inhoudelijke nuances te vatten, bestaat het attention-mechanisme uit meerdere zogenaamde attention-heads. Elk daarvan wordt tijdens de training als het ware een expert in een specifiek taalkundig of grammaticaal kenmerk.
Cruciaal daarbij: het attention-mechanisme is enorm paralleliseerbaar, omdat het de betekenis van elk woord voor alle andere woorden in een zin tegelijkertijd kan berekenen met behulp van matrixbewerkingen, en dat geldt ook voor alle ingevoerde trainingsvoorbeelden tegelijk.
Geen enkel proces is afhankelijk van een ander. Zelfs de foutfeedback na een verkeerde voorspelling kan op elk moment plaatsvinden en de in de matrix opgeslagen relaties bijwerken. De enorme hoeveelheid trainingsvoorbeelden kan zo perfect worden verwerkt op moderne GPU-clusters.
Je kunt het je voorstellen als iemand die snel door een tekst bladert en een fotografisch geheugen heeft, die binnen enkele minuten alle belangrijke verbanden oppikt terwijl hij een pagina doorneemt. Als je wilt begrijpen hoe een transformer zinnen in detail verwerkt en hoe de matrixbewerkingen werken: het beste adres voor aantrekkelijk gepresenteerde wiskundige achtergronden zijn de YouTube-video’s van Grant Sanderson (3Blue1Brown), in dit geval Attention in Transformers, step-by-step (zie de link bij dit artikel).
Contextvenster
De rekenkracht wordt daarentegen een knelpunt tijdens het gebruik, dus wanneer gebruikers met het systeem chatten of op een andere manier interactie hebben (inferentie). Daar zorgt O(n²) ervoor dat de transformers slechts een beperkte hoeveelheid tekst kunnen vastleggen of verwerken.
Die hoeveelheid wordt het contextvenster genoemd en wordt uitgedrukt in tokens. Bij de eerste generatie van die modellen was het al na 512 tokens afgelopen. Afhankelijk van de taak kan het contextvenster snel vol raken, bijvoorbeeld door een lange chat of door uitgebreide studies die de chatbot moet analyseren.
In principe valt alles wat het model in de cache moet bewaren onder die context, dus ook de systeemprompts, de antwoorden van het taalmodel en externe informatie die via Retrieval Augmented Generation opgehaald wordt. Om bijvoorbeeld vragen over geïmporteerde bronnen te beantwoorden, moet de chatbot eerst voor elk token daarin berekenen hoe relevant het is voor elk ander token.
Bij een compleet boek met 500.000 tokens zou dat neerkomen op het berekenen van 250 miljard tokenparen, wat zelfs met moderne grafische kaarten niet haalbaar is. Een antwoord of zelfs een hele tekst genereren op basis van dergelijke verzamelingen is een heel bewerkelijk proces, want daarvoor doet de transformer in principe wat hij tijdens de training heeft geleerd: zinnen voortzetten, woord voor woord.
Zodra hij het meest waarschijnlijke vervolg op het begin van een zin gevonden heeft, berekent hij op basis van het nieuwe fragment het volgende woord, enzovoort. Dat herhaalt zich net zo lang totdat de chatbot een zinvol antwoord heeft gevonden. Dat kan, afhankelijk van de opdracht, bestaan uit een korte zin, een wetenschappelijk artikel of een complex wiskundig bewijs.
In detail bekijken
Hoe intensief de berekeningen binnen de attention-layers en -heads zijn en hoe de mechanismen in detail werken, kun je nagaan met de interactieve Transformer Explainer. Ook de BertViz-visualisaties zijn een goede plek om zelf op ontdekkingstocht te gaan (zie de link bij dit artikel).
De ontwikkelaars zijn er keer op keer in geslaagd om de grenzen van het mogelijke te verleggen en de contextvensters van de klassieke transformers uit te breiden. GPT-4 en -5 verwerken tot een miljoen tokens (via de API).
Het aantal parameters van GPT, Gemini en Claude is niet bekend, maar wordt door experts geschat op enkele honderden miljarden. Om die capaciteit te bereiken en een bijbehorend lang geheugen te simuleren, investeren ze in gigantische datacenters en gebruiken ze uitgekiende compressie- en cachingmethoden die het aantal rekenbewerkingen soms zelfs terugbrengen tot lineaire complexiteit.
Maar uiteindelijk blijft de in principe ongunstige wiskundige relatie bestaan en verschuift de bottleneck naar de cache of gaat de kwaliteit van de antwoorden eronder lijden. De Substack-blog LLMs Research (zie de links) geeft een beknopt overzicht van de optimalisatiemethoden die in de loop der jaren zijn ontwikkeld en welke grenzen ze telkens hebben overwonnen.
Onderzoekers zijn daarom steeds meer op zoek naar een fundamentele, elegantere oplossing voor het probleem. Sommigen, uit heel verschillende regio’s en sectoren, grijpen daarbij terug op aloude architecturen: recurrente netwerken (RNN) en vooral de verbeterde variant daarvan, het Long Short-Term Memory (LSTM), dat de Duitse AI-pioniers Jürgen Schmidhuber en Sepp Hochreiter al eind jaren negentig bedachten.
Wisseling van de wacht
In principe worden dergelijke recursieve netwerken getraind met dezelfde strategieën als in het begin bij de transformer beschreven: met paren van een volledige zin en een gemaskeerde kopie daarvan, waarin een of meer woorden ontbreken.
Die moet het LSTM voorspellen. Tijdens de training met talloze, heel verschillende zinnenparen leert het steeds betere voorspellingen te doen totdat het uiteindelijk grammaticale en semantische patronen onder de knie heeft, die het kan gebruiken om willekeurige teksten te begrijpen en te analyseren.
Het mechanisme erachter werkt technisch gezien echter fundamenteel anders dan bij de transformer: LSTM moet elke zin stap voor stap, woord voor woord, verwerken om een aanvulling voor het einde ervan te kunnen voorstellen. Om context aan het begin van de zin, die belangrijk zou kunnen zijn voor het einde, niet te vergeten, slaat het de belangrijkste woorden op in een zogenaamde cell state. Dat kun je je voorstellen als een soort notitieboekje dat voortdurend wordt bijgewerkt en de essentie van een zin bevat.
In tegenstelling tot de transformer bewaart dat taalmodel echter niet alle informatie die het ooit heeft opgeslagen, maar gooit het irrelevante informatie indien nodig weg: het geheugen van LSTM kan dingen vergeten – net als bij mensen.
Hoe snel oude informatie in de cell state vervaagt, als die niet weer wordt versterkt door nieuwe, bijpassende context, wordt bepaald door wiskundige functies. De parameters daarvan worden tijdens de training voortdurend bijgesteld. Een getrainde LSTM herkent dus met behulp van die functies ook semantische en grammaticale patronen en kan op basis daarvan teksten inhoudelijk analyseren en zinvolle zinnen formuleren.
Omdat het voortdurend probeert overbodige ballast uit zijn geheugen te verwijderen, heeft het daarvoor minder rekenbewerkingen en minder geheugen nodig dan de Transformer – maar het laat sommige details ook te snel los.
Ze waren goed geschikt om korte dialogen te voeren of eenvoudige instructies uit te voeren. Om langere, thematisch samenhangende teksten te begrijpen of te produceren, zouden LSTM’s uit voldoende uitgebreid trainingsmateriaal moeten hebben geleerd. De daarvoor benodigde schaalvergroting mislukte echter vanwege de sequentiële aard van de algoritmen. De berekeningen konden, zoals hierboven beschreven, niet parallel worden uitgevoerd.
Van die zwakke plek maakte het in 2017 geïntroduceerde attention-mechanisme van de Transformer-modellen gebruik, dat perfect kon worden omgezet in matrixbewerkingen en daardoor op GPU’s parallel kon worden uitgevoerd. Opschalen was alleen nog een kwestie van meer GPU’s.
LSTM slaat terug
Twee jaar geleden lukte het Sepp Hochreiter, die inmiddels onderzoek doet aan de Johannes-Kepler-Universiteit in Linz, om een doorbraak te realiseren. Hij en zijn team slaagden erin de LSTM-architectuur zo verder te ontwikkelen dat de berekeningen parallel konden worden uitgevoerd (zie de link aan het eind van dit artikel).
Bovendien gaven ze het vaak te traag reagerende geheugen een update, zodat het zich beter kon aanpassen aan nieuwe situaties. Twee sleutelcomponenten moesten hun nieuwe Extended LSTM (xLSTM) in staat stellen om binnen een acceptabele tijd enorme hoeveelheden trainingsdata te verwerken en verbanden in teksten beter te begrijpen: ze moderniseerden de geheugenstructuur en herwerkten het mechanisme dat het vergeten en bijwerken regelt.
Terwijl het oude LSTM slechts één vector gebruikte als geheugen voor de cell-state, slaat het xLSTM aangeleerde verbanden op in een matrix, net als de transformer. In plaats van de belangrijkste stukjes informatie uit een zin achter elkaar op te schrijven en te wegen, zoekt het naar sterke verbanden tussen telkens twee begrippen en slaat deze op als koppelingen, zogeheten key-value-paren, in de matrix.
Tijdens het trainen leert de xLSTM dus teksten of andere reeksen om te zetten in betekenisvolle key-value-paren en daar efficiënt de paren uit te vinden die relevant zijn voor de volgende voorspelling.
Het nog steeds aanwezige vergeetmechanisme leert op zijn beurt om irrelevante gegevens te herkennen en uit de matrix te verwijderen.
Daarin zit ook het belangrijkste verschil met de matrix van de transformer: die van het xLSTM heeft een vaste grootte, of de te verwerken tekst nu 10 of 10.000 woorden lang is. Verouderde informatie wordt door de vergeetfunctie uit het geheugen gewist en nieuwe key-value-paren worden niet aan de lijst toegevoegd, maar via een rekenbewerking (uitwendig product) in de bestaande matrix verwerkt.
Zo staat alle informatie die niet is gewist in een sterk gecomprimeerde vorm in de matrix. De oorspronkelijke key-value-paren blijven reconstrueerbaar en dus opvraagbaar. Dankzij die vaste omvang blijft de rekeninspanning per woord altijd gelijk, waardoor het xLSTM met lineaire complexiteit rekent.
Voor veeleisende taken
Dankzij de moderne opslagstructuren, die zijn aangepast aan de werking van de LSTM, konden de intensieve berekeningen tijdens de training eindelijk parallel uitgevoerd worden. Daarmee hebben Hochreiter en zijn collega’s de basis gelegd om het xLSTM, net als een transformer, te trainen met enorme hoeveelheden data en daardoor op te schalen naar meerdere miljarden parameters, waardoor hij ook langere contexten kan verwerken en veeleisende cognitieve taken kan oplossen.
Ondanks dat het leent van de geheugenstructuren van de transformer, blijft het xLSTM in de kern een recurrent netwerk dat invoer sequentieel verwerkt en dus ook de positie van woorden in zinnen of, meer in het algemeen, tijdsverloop uit zichzelf onthoudt. Die eigenschap geeft het xLSTM in het algemeen ook voordelen bij het analyseren van tijdreeksen en de bijbehorende voorspellingen.
Omgekeerd proberen onderzoekers en ontwikkelaars ook recursieve netwerken als componenten in de transformer-architectuur in te bouwen, om de reken- en opslagbehoefte te verminderen. De Chinese start-up Moonshot AI heeft bijvoorbeeld een attention-mechanisme ontwikkeld met de naam Kimi Delta Attention (KDA), waarbij de ontwikkelaars drie van de vier aandachtblokken vervangen door een aandachtmechanisme dat sterk lijkt op dat van het xLSTM en ook lineaire complexiteit heeft.
Theorie versus praktijk
De nieuwe architecturen zullen de transformer niet zo snel van de troon stoten – in ieder geval niet in de consumentensector. Hij werkt namelijk uitstekend in zijn goed op elkaar afgestemde en door de jaren heen sterk geoptimaliseerde ecosysteem van hardware, AI-versnellers, programmeerinterfaces en daarop afgestemde trainingsstrategieën. De alternatieve architecturen zijn tot nu toe nog niet doorgedrongen tot de gevestigde taalmodellen met honderden miljarden parameters, zoals Gemini, GPT en Claude.
xLSTM begon met een variant met 1,2 miljard parameters, inmiddels is een 7B-model (met 7 miljard parameters) beschikbaar. Kimi Linear van Moonshot AI is een Mixture of Experts-model met 48 miljard parameters. Maar uiteindelijk gaat het niet om de parameters, maar om hoe de modellen het doen en hoe ze in de praktijk werken.
Robert Weber is verantwoordelijk voor de industriële klanten bij NXAI, het bedrijf dat mede door Hochreiter is opgericht en dat zich bezighoudt met de ontwikkeling en verkoop van xLSTM-modellen. Hij ziet de toekomst niet zozeer in de tekst producerende sector, maar eerder in fabriekshallen.
Bedrijven zijn voor productie en fabricage steeds vaker op zoek naar AI’s die lokaal en op bestaande systemen draaien. “We zien nu een heropleving van alternatieve architecturen, omdat je niet altijd grote datacenters op de achtergrond hebt. Embedded is de eerste vereiste, dat is de realiteit die we in de markt bij veel industriële bedrijven zien. De bedrijven zeggen: we hebben deze of gene bestaande infrastructuur, kunnen jullie daar iets mee doen?”, aldus Weber.
De modellen worden momenteel gebruikt in de logistiek, voor industriële pompen, bij spuitgieterijen en bij recycling, door Bosch Rexroth voor besturing, net als automatiseringsspecialist Festo. NXAI verdient geld met maatwerk: “Op het gebied van robotica bouwen we specifieke xLSTM-modellen die zijn afgestemd op de betreffende robots.”
De robotica-experts waren op zoek naar efficiënte architecturen. Een gewone robot met GPU is voor veel klanten simpelweg te duur.
Voor de tijdreeksanalyse ontwikkelden Hochreiter en zijn team een eigen basismodel, TiRex genaamd, op basis van de xLSTM-architectuur.
“Wat we bij taal hebben gezien, zien we nu ook op het gebied van tijdreeksen, de taal van de machines. De gebruikers voeren een tijdreeks in het model in en het begint meteen, zonder training, voorspellingen te doen.” Volgens Weber draait TiRex op relatief zwakke industriële besturingen of op een Raspberry Pi.
Het xLSTM is als opensource te downloaden op GitHub, zowel in de basisversie als in de voor tijdreeksen geoptimaliseerde variant TiRex (zie de link bij dit artikel).
Conclusie
De gigantische taal- en beeldgeneratoren van onder meer OpenAI en Anthropic doen hun ding, maar met onnodig inefficiënte methoden en alleen als je er maximaal veel middelen in steekt. Technisch gezien kunnen de onderliggende architecturen en algoritmen daarom alleen het begin markeren van de ontwikkeling van generatieve AI, en niet het einde.
Net als de stoommachine, die in de loop van de industrialisatie uiteindelijk ook plaats maakte voor modernere technologie. Veelbelovende architecturen zoals het xLSTM of het alternatieve attention-mechanisme Kimi Delta Attention zijn als opensource beschikbaar en wekken nu al interesse in de industrie.
Vooral voor het xLSTM, dat tijdsverloop goed kan vastleggen en voorspellen, zien experts kansen om zich op de lange termijn door te zetten.
Overzicht van links bij dit artikel
YouTube: Attention in transformers, step-by-step
Transformer Explainer
https://poloclub.github.io/transformer-explainer
GitHub BertViz-visualisaties
https://github.com/jessevig/bertviz
Substack-blog LLMs Research
https://llmsresearch.substack.com/p/the-evolution-of-long-context-llms-caa
xLSTM: Extended Long Short-Term Memory
https://arxiv.org/abs/2405.04517
GitHub xLSTM
https://github.com/nx-ai/xlstm
GitHub TiRex
https://github.com/NX-AI/tirex
(Andrea Trinkwalder en Alieke van Sommeren)
Praat mee