God maken is duur
Maar 't mag wat kosten
technologie | Tomas Pueyo | 30 jan 26
Meta en andere bedrijven die AI ontwikkelen bieden een bonus van 100 miljoen dollar aan top-researchers. Hoe kun je in vredesnaam dat soort bedragen rechtvaardigen?
Dat is de vraag waarmee Tomas Pueyo zijn essay begint. Aan het eind van zijn verhaal concludeert hij: er zijn tientallen miljarden gecommitteerd in het verbeteren van de hardware, het vergroten van de capaciteit. Maar de extra sprongen in de verbetering van AI komen door mensenwerk: a) het verbeteren van de algoritmes, en b) manieren bedenken om de belemmeringen van de capaciteitsgroei van AI weg te nemen. 'Unhobbling' is het nieuwe woord daarvoor.
Vergeleken met de honderden miljarden die wordt geïnvesteerd in hardware en algoritmes is 100 miljoen dollar per wetenschapper een verantwoorde investering in de bijzondere 'software.' En als het einddoel, Artificial General Intelligence (AGI), in zicht komt - het creëren van een 'god,' een AI die slimmer is dan mensen - zou je dan beknibbelen op research? Of er vol voor gaan?
Pfoe.
Als je het historisch bekijkt, is het inderdaad historisch:
(Bedragen zijn percentages van BBP, dat is een goede manieren om investeringen over een periode van tientallen jaren te vergelijken. Je haalt dingen als inflatie en devaluatie eruit. - ARK Invest is een beleggingsfonds dat zich richt op 'disruptive' innovatie.)
Pueyo denkt dat AGI binnen vijf jaar mogelijk is. Dus de vraag is: op welke veronderstellingen is deze heroïsche visie gebaseerd?
Allereerst verbeteringen in de algoritmes. Pueyo concludeert: 'Het ziet er naar uit dat we de algoritmes kunnen verbeteren met 0,4 tot 0,5 ordes van grootte per jaar, de komende vijf jaar. Dat zullen we niet eeuwig volhouden, maar we doen het al iets meer dan tien jaar, dus waarschijnlijk lukt dat de komende vijf jaar ook nog wel. Als dat zo is, dan hebben we in 2030 algoritmes die 300x beter zijn dan nu.'
Maar veel doorbraken in de ontwikkeling van AI zijn het gevolg van 'unhobbling.' Oftewel: het wegnemen van drempels die verbetering van de software in de weg staan.
Een paar voorbeelden:
Reinforcement Learning with Human Feedback (RLHF, die kende u misschien al).
'Gedachtengang:' als u een vraag krijgt en antwoordt met het eerste wat u te binnen schiet, is de kans groot dat dat niet het beste antwoord is. Dat doet een AI niet beter. Dus je traint hem om zijn antwoord te formuleren in stappen, zodat hij over iedere stap nadenkt voordat hij het antwoord formuleert.
'Distilleren,' een sjieke manier om te zeggen: laat de AI leren van andere AI's. Lekker goedkoop. DeepSeek parasiteert kennelijk op deze manier op OpenAI’s ChatGPT: als je hem vraagt 'welk model ben je?' antwoordt hij 'I am ChatGPT.'
'De Chinezen doen dit de hele tijd,' schrijft Pueyo. 'Kennelijk is de Chinese Kimi K2.5 net zo goed als de nieuwste Claude Opus 4.5, en een achtste van de prijs. Maar als je 't hem vraagt, denkt dat hij Claude is.'
'Mixture of Experts' - je kunt beter een aantal AI's bouwen met ieder een eigen expertise, dan één die alles moet weten.
'Geheugen.' Kent u het oude grapje: 'een AI is net zoiets als onbeperkt stagiaires. Ze nemen je heel veel werk uit handen maar je moet wel alles controleren wat ze zeggen.' Pueyo schrijft: 'Als een LLM niet weet wat je de vorige keer hebt besproken, en je ieder gesprek opnieuw bij 't begin moet beginnen, dan is het net alsof je iedere keer een nieuwe stagiair moet inwerken. Vreselijk. Dus LLM's hebben tegenwoordig een geheugen dat de hoofdpunten van de vorige gesprekken onthoudt.'
Zo bespreekt hij 13 'unhobblings.' Hij schat dat iedere 'drempelverwijdering' de efficiëntie 10x verbetert.
Hij concludeert: het ziet er naar uit dat de vier drijvende krachten achter AI zullen blijven stuwen.
a. computers worden beter, deels door de wet van Moore, en deels door de ontwikkeling van GPU's (speciale processoren voor AI) die nu nog maar in hun kinderschoenen staan
b. we hebben het geld om onze investeringen te verdubbelen, ieder jaar
c. algoritmes worden ieder jaar 3-4x beter, al tien jaar lang
d. 'unhobblings' zijn al net zo effectief
'Alles bij elkaar betekent dit dat AI's ieder jaar 50x intelligenter worden,' zegt Pueyo. 'Extrapoleer dat over de jaren, en dan is het zeer waarschijnlijk dat we in 2030 bovenmenselijke intelligentie hebben gecreëerd.'