LLM´s zijn het vuur. JEPA de potentiële elektriciteit.

In de afgelopen tijd hebben Large Language Models (LLM’s) een sprong teweeggebracht die doet denken aan wat het vuur ooit voor de mensheid betekende: ineens is er een krachtig gereedschap dat de wereld compleet verandert. Tegelijkertijd kennen we ook de beperkingen en risico’s. Deze blog duikt in dat “sprekende vuur” en laat zien wat voor mogelijkheden en gevaren er zijn. Vervolgens werpen we een blik op de potentiële opvolger van de huidige generatie LLM’s: Joint Embedding Predictive Architecture (JEPA), dat door sommigen al wordt gezien als de “elektriciteit” die de wereld van AI verder kan transformeren.

Ondanks hun kracht in het genereren van tekst, hebben LLM’s ook duidelijke beperkingen – zeker wanneer we kijken binnen de financiële sector, waar nauwkeurigheid, betrouwbaarheid en risicobeheersing centraal staan. Zo ‘begrijpen’ ze de wereld niet echt op de manier zoals mensen dat doen. Ze hebben geen gezond verstand of een mentale voorstelling van de fysieke realiteit. LLM’s voorspellen puur op basis van patronen in taal en de daarop gedistilleerde waarschijnlijkheid, zonder te weten of een zin logisch of waar is; het mist begrip van de echte wereld.

Een direct gevolg daarvan zijn zogeheten hallucinaties: antwoorden klinken overtuigend, maar zijn feitelijk onjuist. Vergelijk het met Jordan Belfort die aandelen verkoopt – je twijfelt, maar het klinkt zo goed dat je het wel bijna moet geloven. Deze hallucinaties kunnen in een businesscontext voor ontzettend grote problemen zorgen. Neem bijvoorbeeld de rechtszaak waarbij een chatbot van Air Canada ten onrechte een korting beloofde – en het bedrijf uiteindelijk aansprakelijk werd gesteld (bron). Dit voorbeeld laat zien hoe belangrijk het is om generative AI-systemen niet blind te vertrouwen, zeker in klantgerichte omgevingen.

Een andere tekortkoming van LLM’s is dat ze geen langdurig geheugen of planningsvermogen hebben. Een LLM genereert elk volgend woord zonder een expliciet plan voor de hele zin of paragraaf. Hierdoor kunnen kleine fouten aan het begin van een antwoord uitgroeien tot een incorrecte of inconsistente uitkomst. Kortom, LLM’s zijn geweldige patroonherkenners in de wereld van taal, maar missen een dieper begrip van wat die taal daadwerkelijk beschrijft in de echte wereld. In sectoren als finance is dat een wezenlijk probleem. Er zijn de afgelopen tijd stappen gezet door het toevoegen van short- & long term memory, maar dat is nog niet genoeg.

Kortom: LLM’s maken veel mogelijk, maar zijn tegelijkertijd frustrerend. Ze zijn nuttig als assistent – niet als adviseur. Daarom blijft menselijk toezicht cruciaal. Alleen door vakinhoudelijke beoordeling en kritisch denken kunnen we de kwaliteit en betrouwbaarheid van de output waarborgen. Want hoe kan ik vertrouwen dat een LLM mij quantum mechanica op een goeie manier kan uitleggen, als die niet eens weet hoe vaak de letter R in het woord strawberry voorkomt?

LLM’s hebben zich razendsnel ontwikkeld, maar hun beperkingen blijven zichtbaar. Maar wat als we die beperkingen van LLM’s kunnen tackelen? Yann LeCun (Meta), een van de 3 “godfathers of AI”, benadrukt de fundamentele tekortkomingen: “ze begrijpen niet hoe de wereld werkt en kunnen zich niets herinneren, niet redeneren zoals een mens en niet plannen” (Meta’s Yann LeCun Wants to Ditch Generative AI). Daarom ontwikkelde zijn team in 2023 JEPA: een AI-model dat is ontworpen om AI te laten leren zoals wij mensen dat van nature doen: via ervaring en het vormen van een mentaal model van de wereld. In plaats van ‘educated guesses’ op het volgende woord, focust JEPA zich op representatie-leren.

Met het gevaar al te veel in de terminlogie te duiken, kunnen we het verschil van JEPA en LLM’s aangeven met een metafoor: stel je voor dat je een puzzel aan het leggen bent en je het volgende puzzelstukje moet zoeken.

· Een LLM-aanpak:

Stukje voor stukje probeert te raden welk puzzelstukje erna komt door puur naar vorm en kleur te kijken, zonder daadwerkelijk het plaatje van de hele puzzel te begrijpen.

· Een JEPA-aanpak:

Eerst een mentaal beeld vormen van wat het totaalplaatje op de puzzel zou moeten zijn en op basis daarvan het logische eerstvolgende puzzelstukje te vinden. Met andere woorden; JEPA zorgt voor een abstract begrip van de puzzel in plaats van gelijk aan de slag te gaan met een beperkte set aan kennis.

Het eerste JEPA-model richtte zich op beeldherkenning. Inmiddels is daar een video-variant aan toegevoegd: V-JEPA, die leert door simpelweg te observeren. Net als een kind dat zijn omgeving begrijpt door te kijken, kan V-JEPA passief context leren en patronen herkennen, zonder actieve input. Deze manier van leren opent de deur naar AI-systemen die beter kunnen plannen, redeneren en minder gevoelig zijn voor hallucinaties.

Toch staat JEPA nog in de kinderschoenen. Het is geen one-size-fits-all model dat kant-en-klare tekst genereert zoals ChatGPT. Er zijn aanvullende componenten nodig om bruikbare output te creëren. Maar de potentie is enorm.