AI Piekt? - Schmidhuber - Ontmaagd
AI piekt?
Technologie | Noahpinion | 6 juni 2023
Large Learning Models (LLM's) zijn duur om te bouwen en te draaien; en de hoeveelheid lesmateriaal is beperkt; dus het zou best kunnen dat de ontwikkeling van AI binnenkort een plateau bereikt. Dat we op het steilste punt van de S-curve zitten. Een LLM met 1 biljoen parameters kost nu $300 miljoen om te bouwen; eentje met 10 biljoen zou $30 miljard kosten. En LLM's worden getraind door het hele internet te lezen en te absorberen; maar de hoeveelheid kwalitatief goede, Engelstalige tekst zou al in 2026 volledig zijn gebruikt. (zegt deze studie.) Dus hoe maak je hem dan slimmer? Nvidia zou nog snellere chips kunnen maken, massaproductie maakt onderdelen goedkoper, nieuwe trainingsmethodes laten de LLM sneller en/of slimmer leren. Maar een groeivertraging is niet denkbeeldig.
Schmidhuber
Technologie | Marg revolution | jun 2023
Duitser Jürgen Schmidhuber (1963) geldt als één van de pioniers van AI. Hij heeft niet zijn handtekening gezet onder pamfletten die waarschuwen voor de gevaren van 'AGI.' Een AI die hij met collega's al in 2012 ontwikkelde was in staat om borstkankercellen te herkennen. 'Sommige van de neurale netwerken die we laatste 30 jaar hebben ontwikkeld worden gebruikt in duizenden medische toepassingen.'
'Er is veel grotere commerciële druk om 'goedaardige' AI te maken dan 'kwaadaardige,' omdat bedrijven je iets willen verkopen, en jij gaat alleen maar dingen kopen waarvan je denkt dat je er iets aan hebt.' 'Maar ja, Schwarzenegger-achtige doemscenario's grijpen nu eenmaal je aandacht, meer dan documentaires over hoe AI het leven veraangenaamt.'
Computers worden iedere tien jaar honderd keer krachtiger, al sinds 1941. 'Veel van wat GPT-4 kan, was vorige eeuw al mogelijk; maar nu pas breed bruikbaar omdat computerkracht veel goedkoper is geworden.'
Dus? Wat zegt u tegen uw kinderen?
'Ik heb twee dochters van 23 en 25. Ik zeg tegen ze: 'Jullie gaan waarschijnlijk meemaken dat er nieuwe soorten intelligentie verschijnen, die in veel opzichten superieur zijn.' Hoe bereid je je daar op voor? Leer hoe je nieuwe dingen leert!'
Maar dan sluit hij af: 'Wat is het doel van het heelal? Dat weten we niet. Maar misschien is wat nu gebeurt een deel van het antwoord. Mensen moet je niet zien als het kroonjuweel van de creatie. Beschouw menselijke beschaving als onderdeel van een veel groter plan, een belangrijke stap (maar niet de laatste) op de weg van het heelal van hele simpele omstandigheden naar onpeilbare complexiteit. Misschien dat het heelal nu begonnen is die volgende stap te zetten.'
Tja. And in the long run we're all dead.
Ontmaagd
Ook belangrijk | Marginal Revolution | 5 juni 2023
Ja Nederland staat ook in 't rijtje. En België.
(Net op tijd bedacht ik me dat ik de essentiële vraag niet had gesteld: 'Wat is de bron?' Die is bij geen één grafiekje van 'World of Statistics' te vinden. Na wat googlen vond ik: een enquete door Durex uit 2017)