Praten jullie niet een beetje langs mekaar heen? @Molurus die zegt dat de werking van AlphaZero generiek en niet op één probleem toegesneden is, en @tsjok die zegt dat je AlphaZero desondanks wel eerst handmatig een specifieke opgavestelling moet geven voordat het daadwerkelijk concreet iets kan doen?
Dit is trouwens wel interessant leesvoer:
https://analyticsindiamag.com/deepmind-has-a-solution-for-agi-not-many-agree/
Maximisation of reward for AGI might sound as teaching evolution for dummies, but the authors argue that intelligence and additional abilities can surface through this strategy. For example, DeepMind’s AlphaZero, which has pipped experts in the game of Go, faced issues when the abilities were innately integrated into a unified whole. The authors stated that maximising wins proved to be enough, in a simple environment such as Go, to drive behaviour exhibiting various specialised abilities. “We argue that maximising rewards in richer environments – more comparable in complexity to the natural world faced by animals and humans – could yield further, and perhaps ultimately all abilities associated with intelligence.”
De discussie over wat nou 'echte AI' / AGI is en waar het precies aan moet voldoen zal vrees ik nog wel lang voortduren. In mijn beleving is het wel vooral een filosofische discussie die sterk wordt gedomineerd door diverse vooroordelen over zowel mensen als computers.
Maar dat het werk van DeepMind veel verder gaat dan het heel snel uitvoeren van voorgedefinieerde algoritmes voor het oplossen van specifieke problemen lijkt me wel glashelder.
Ik heb totaal geen verstand van QC, maar in deze discussie heeft Molurus best een punt. Hoe AlphaZero schaken benadert is fundamenteel anders dan "traditionele" schaakcomputers en lijkt in veel opzichten op hoe mensen zelf inzichten genereren - bijvoorbeeld door het gebruik van anologiëen. Het lijkt er vooral op dat jullie langs elkaar heen praten.
Als dat de stellingen zijn (ik tast een beetje in het duister) dan zijn die niet eens strijdig met elkaar. Geen enkel intelligent systeem zal een probleem oplossen waar het niet mee wordt geconfronteerd, ook mensen niet. Als definitie van AGI lijkt dat me niet werkbaar. Dat legt de lat (opzettelijk?) hoger dan we die voor onszelf leggen.
Reya Dat verschil tussen AlphaZero en traditionele schaakcomputers klopt natuurlijk ook volkomen, dat schreef ik zelf ook al eerder. 'Langs elkaar heen praten' is dit niet, Molurus ontkent gewoon vaststaande begrippen uit de computerwetenschappen en ik zit ver genoeg daarin om dat te herkennen maar (blijkbaar) niet genoeg om uit te leggen waar de fout zit.
Verder was dit topic vooral zonde van mijn vrije ochtend.
https://www.npostart.nl/2doc/14-09-2021/VPWON_1271773
Wel aardige docu.
De conclusie lijkt me nogal een open deur, maar toch een aardig artikel:
Indrukwekkend om te zien hoe dit allemaal in sprongen vooruitgaat: je kan nu behoorlijk accurate 3d-weergaven van een omgeving creëren met wat foto's als input. Hoe vet zou het zijn om deze technologie op Google Streetview los te laten. Of dat je op basis van een handvol oude foto's de woonkamer uit je jeugd in VR kan genereren.
Ja, of complete remakes van oude films van baggerkwaliteit.
Molurus
Daar heb je al relatief goede algoritmes voor. Dat wat voor They Shall Not Grow Old nog echt baanbrekend was, is tegenwoordig relatief toegankelijke technologie. Zoeken op "4k 60fps colorized" levert sloten aan dergelijke video's op:
Nice, hoewel dit denk ik nog wel veel beter kan. Bergen archiefmateriaal wat in de komende decennia kan worden opgelapt!
Deze post maar even hier, omdat het relevant is aan AI, en dan komt hier wellicht ook weer wat leven in.
Ik erger mij al de hele dag kapot aan deze video. Veritasium stond geloof ik nog wel redelijk bekend als een betrouwbaar platform dat op een interessante manier wetenschappelijke informatie behapbaar maakt voor de massa. Hij wordt volgens mij ook hier nog wel eens gelinkt. Met deze video valt wel te concluderen dat dit helemaal niet meer het geval is.
Ik kom met deze video echt niet veel verder dat Veritasium expres de werkelijkheid verdraait en details onthoudt aan de video om met een meer interessant product te komen waarop men deze clickbait titel los laat, of dat hij gewoon daadwerkelijk geld heeft ontvangen om een nieuw product op te geilen aan Venture Capital firms. Want het bedrijf dat deze analoge chips ontwikkeld is namelijk de enige 'expert' aan het woord.
Mocht iemand deze al gezien hebben, je hoeft je PC nog niet uit het raam te flikkeren: we bouwen computers niet fout. Ook niet voor artificial intelligence.
Paar dingetjes die ik er uit wil pakken:
Zogenaamde accelerators zijn eigenlijk niets nieuws. Integrated Circuitry bestaan al decennia. Ook zijn niet alle digitale computers zogenaamde Von-Neumann Architecturen. Zowel Intel als AMD hebben bijvoorbeeld enigszins recent een grote FPGA speler opgeslokt. Deze FPGAs worden toegepast voor AI accelerators, en hebben geen last van de Von-Neumann bottleneck. De video draagt dit probleem aan als een groot probleem binnen digitale computers, het probleem is al lange tijd bekend en er zijn vele oplossingen voor van verschillende bedrijven.
Het concept van een niet-configureerbare, optimale geintegreerde circuits specifiek gemaakt voor problemen als dit bestaat al: een ASIC. Het enig nieuwe aan dit ontwerp is de matrix multiplicatie in het analoge domein wordt uitgevoerd, dat extra ruis oplevert maar volgens het bedrijf minder stroom verbruikt. Het is niet dat computers verkeerd worden gebouwd. De vergelijking van het stroomverbruik richting een processor of GPU is een oneerlijke vergelijking. Deze kunnen namelijk ten alle tijden opnieuw geconfigureerd worden en hebben gewoon een voordeel dat harde implementaties niet hebben. Terwijl het juist altijd harde implementaties zoals ASICS of ICs zijn die de hoogste throughput(snelheid) voor het laagste stroomgebruik hebben.
Voor het meest energievretende onderdeel van AI, het trainen, verwijst ook het bedrijf naar de GPU. De chip is, net als een ASIC, of bijvoorbeeld Google's TPU eigenlijk alleen echt geschikt voor implementatie. Tot zo ver de 'baanbrekende' analoge computer. En dat is nog helemaal buiten de grove fout aan het einde waar wordt gesuggereerd dat analoog hetzelfde zou zijn als parallellisme. Digitale computers zonder parallellisme bestaan bijna niet meer. Wellicht dat je in goedkope, kleine elektronica nog een chip vind die alles stapje voor stapje doet (wat hier foutief impliciet digitaal wordt genoemd), maar binnen moderne digitale computers bestaat dat eigenlijk niet meer.
Als je een beetje door de reacties scrolt kom je wellicht nog wel wat andere punten tegen, maar je zal door de pagina's van "ja en amen" moeten werken die deze video helemaal de hemel inprijzen die nu vol overtuigd zijn dat we qua computers weer terug moeten naar het oude. Beetje jammer dit.
PolitiekGeaard Ik ga zometeen even je video kijken en uitgebreid reageren maar ik wilde je alvast wijzen op deze video:
Veritasium is tegenwoordig gewoon onzin.
tsjok
Oeh, een uur. Die bewaar ik voor vanavond. Bedankt.
tsjok
Ik heb hem gekeken, flink off-topic wordt dit nu, maar goed.
Grappig genoeg heb ik dus de originele video ook gezien, en ik moet eerlijk toegeven dat bij het kijken van die originele video mijn kritisch denken op standje 'uit' heeft gestaan. Nu kijk ik meestal dit soort video's meer als entertainment tijdens de middagpauze dan nadenkstof, maar hier schrik ik eigenlijk toch wel behoorlijk van. Ik denk dat je het argument wel kunt maken dat ook met goed kritisch denken je wel wat haken en ogen kunt vinden in zijn meest recente video's, maar er komen wel een hele grote drek aan 'corporate' statistieken voorbij die je als leek in dit onderwerp maar moeilijk kunt controleren. De video's zijn extreem gelikt en weten toch wel op manier hun argument te brengen die je bij het snel wegkijken van dit soort video's wel redelijk snel slikt.
Het is dat ik specialistische kennis heb op het gebied van computer architectuur, anders was ik denk ik niet achter de fouten van z'n recente video gekomen. Als ik van mensen die helemaal niks van computer architectuur afweten de vraag krijg "wat doe jij?", aangezien ik momenteel afstudeer, dan probeer ik een beetje uit te leggen wat een FPGA nou precies is. Dat is eigenlijk al niet te doen, omdat men vaak nooit nagedacht heeft wat een computer nou precies is. Deze video lijkt meer te zijn voor mensen die de basis al wel gewoon hebben maar dan nog moet je echt exact de specialistische kennis hebben om te kunnen pinpointen waar de problemen in deze video liggen anders dan lijkt deze video toch al snel de volledige waarheid.
Het stuk in de video, waar ze het hebben over 'omitten' is wel echt een centraal onderdeel in de Analoge Computer video. Er wordt zoveel weggelaten over de negatieve aspecten van zo'n analoge computer, het kamp 'digitale computer' wordt zo klein afgebeeld dat het beeld wel heel erg snel ten goede van deze analoge AI Accelerator komt. En dan is de video nog niet eens als 'sponsored' omschreven.
Ik kan mij ook herinneren dat dit bij oudere video's van dit kanaal vaak niet op deze manier ging. Vaak zat er ook niet echt een futuristisch component in waar er gekeken werd naar een oplossing voor een probleem, maar meer een concept of natuurkundig proces. Dat is ook hoe dit kanaal bij mij wel wat krediet had opgebouwd.
PolitiekGeaard Oké, de video gekeken die jij postte.
Ik heb bij het lezen van jouw comment en de video van Tom Nicolas eigenlijk een beetje hetzelfde gevoel - dat je door Veritasium gewoon opgelicht wordt. Ik heb echt nul verstand van computerarchitectuur en dan is het echt heel moeilijk om specifieke dingen te herkennen die niet kloppen. Ik heb expres éérst de video gekeken en daarna jouw comment gelezen. Sommige dingen kan ik dan wel herkennen als dat het wat vaag en onaannemelijk klinkt maar de specifieke problemen miste ik natuurlijk totaal. De video van de self-driving cars is ietsje makkelijker omdat het onderwerp wat minder technisch is maar de stijl waarin informatie eenzijdig, onvolledig en soms echt fout wordt gepresenteerd is exact hetzelfde.
Wat wel opvallend is dat de video over Weimo letterlijk is gesponsord, maar deze niet. Toch kun je je niet aan de indruk onttrekken dat Veritasium heel specifiek een matige techniek aan het verkopen is.
En ik kende Veritasium inderdaad ook als een interessant en oprecht kanaal. Ik vind dit echt zonde.
Het hoeft dus niet een matige techniek te zijn. Het probleem is dat hij presenteert dat de problematiek in het Von-Neumann Bottleneck ligt, het idee dat geheugen traag is, en dat dit iets inherent is aan digitale computers. In praktisch elke AI accelerator die vrijwel allemaal digitaal zijn is dit dus ook geen probleem, en is alleen een inherent probleem in processoren die op het Von Neumann architecturen werken. Praktisch alle serverbakken en GPU zonder dit soort acceleratoren hebben dit probleem inderdaad, maar het is lang niet de enige oplossing en zeker niet inherent aan het digitale aspect.
Mijn afstudeeropdracht gaat om het kijken naar "approximate computing". Voor een opdracht, waar net als binnen AI, veel multiplicatie op datastromen toegepast wordt. Hierbij worden er fouten in de multiplicatie module toegevoegd, zeg maar, met als doel om deze module kleiner te maken. Minder stroomverbruik, kleinere oppervlak, maar wel een (voorspelbare) fout. Voor sommige doeleinden is dat prima. Dus om te zien dat hier een bedrijf gewoon de hele multiplicatie naar het analoge domein verplaatst, en dus het stroomverbruik van Digitaal->Analoog, en Analoog->Digitaal conversies op te koop toe neemt er dan daar blijkbaar goede resultaten uit krijgt is wel interessant. Veritasium noemt hier bijvoorbeeld ook 'ruis' als probleem, althans hij noemt het feit dat twee keer dezelfde berekening maken niet hetzelfde antwoord geeft. Dat gaat hier natuurlijk wel een concreet probleem worden. Hij zegt van niet, ik ben niet overtuigt. In vergelijking, het probleem waar ik aan werk vind zich plaats in de radioastronomie, die zijn wel wat ruis gewend. Neural Networks waar ik een paar terug mee heb gewerkt waren allemaal deterministisch, en kleine afwijkingen gaven enorm verschillende resultaten.
Dan komt er nog bij dat het trainen van neurale netwerken een taak is voor iemand die goede kaas gegeten heeft van statistiek, niet perse iemand die in de elektronica zit. Voor één probleem kan het ene model veel beter werken dan de andere. Dat kun je dus niet op een voorgebakken chip doen, ook niet op een ASIC, ook niet op deze Mythic chip. Daar moet alsnog een GPU, CPU of misschien een FPGA bij komen kijken. En dan wellicht een keer bij je uiteindelijke product moet je hier aan gaan denken. Ik geloof dat hij dit probleem ook aandraagt in zijn video: dit trainen gebruikt veel stroom, daar is dit dus geen oplossing voor.
Het gaat er allemaal te vlot over heen. Hier en daar wat fouten, en dan is daar opeens een kleine start-up die een revolutionair product heeft. Het zijn bedrijven als Google, Qualcomm, Amazon, Apple, Facebook, AMD en Samsung die bijvoorbeeld digitale ASICs ontwikkelen voor AI, nog geen analoge AI chips. Dat zijn niet de minste. En die doen het echt niet fout. Dan kun je ook zonder de specificaties allemaal op te vragen, want Mythic is niet zo open op hun website( 
), zonder exact te weten waar alle knelpunten in AI liggen (die weet ik ook niet), wel afvragen of de techniek al wel goed genoeg is.
Sorry voor de enorme lap tekst, maar ik wilde daar even iets dieper op reageren 
Ik heb hier weinig aan toe te voegen maar vind het erg interessant om te lezen. 
️
Ik gebruik even dit oude topic om mijn hobby afgelopen dagen te delen: de text-to-image generator DALL-E. Het is een AI die afbeeldingen kan maken met elke tekst-invoer, maar wel met wisselend succes.
Via reddit nog meer prachtige en hilarische creaties op https://www.reddit.com/r/weirddalle/. Je kunt het zelf proberen via https://huggingface.co/spaces/dalle-mini/dalle-mini, de site is wel vaak overbelast maar een paar keer vernieuwen of even later weer proberen helpt doorgaans.
