Het hoeft dus niet een matige techniek te zijn. Het probleem is dat hij presenteert dat de problematiek in het Von-Neumann Bottleneck ligt, het idee dat geheugen traag is, en dat dit iets inherent is aan digitale computers. In praktisch elke AI accelerator die vrijwel allemaal digitaal zijn is dit dus ook geen probleem, en is alleen een inherent probleem in processoren die op het Von Neumann architecturen werken. Praktisch alle serverbakken en GPU zonder dit soort acceleratoren hebben dit probleem inderdaad, maar het is lang niet de enige oplossing en zeker niet inherent aan het digitale aspect.
Mijn afstudeeropdracht gaat om het kijken naar "approximate computing". Voor een opdracht, waar net als binnen AI, veel multiplicatie op datastromen toegepast wordt. Hierbij worden er fouten in de multiplicatie module toegevoegd, zeg maar, met als doel om deze module kleiner te maken. Minder stroomverbruik, kleinere oppervlak, maar wel een (voorspelbare) fout. Voor sommige doeleinden is dat prima. Dus om te zien dat hier een bedrijf gewoon de hele multiplicatie naar het analoge domein verplaatst, en dus het stroomverbruik van Digitaal->Analoog, en Analoog->Digitaal conversies op te koop toe neemt er dan daar blijkbaar goede resultaten uit krijgt is wel interessant. Veritasium noemt hier bijvoorbeeld ook 'ruis' als probleem, althans hij noemt het feit dat twee keer dezelfde berekening maken niet hetzelfde antwoord geeft. Dat gaat hier natuurlijk wel een concreet probleem worden. Hij zegt van niet, ik ben niet overtuigt. In vergelijking, het probleem waar ik aan werk vind zich plaats in de radioastronomie, die zijn wel wat ruis gewend. Neural Networks waar ik een paar terug mee heb gewerkt waren allemaal deterministisch, en kleine afwijkingen gaven enorm verschillende resultaten.
Dan komt er nog bij dat het trainen van neurale netwerken een taak is voor iemand die goede kaas gegeten heeft van statistiek, niet perse iemand die in de elektronica zit. Voor één probleem kan het ene model veel beter werken dan de andere. Dat kun je dus niet op een voorgebakken chip doen, ook niet op een ASIC, ook niet op deze Mythic chip. Daar moet alsnog een GPU, CPU of misschien een FPGA bij komen kijken. En dan wellicht een keer bij je uiteindelijke product moet je hier aan gaan denken. Ik geloof dat hij dit probleem ook aandraagt in zijn video: dit trainen gebruikt veel stroom, daar is dit dus geen oplossing voor.
Het gaat er allemaal te vlot over heen. Hier en daar wat fouten, en dan is daar opeens een kleine start-up die een revolutionair product heeft. Het zijn bedrijven als Google, Qualcomm, Amazon, Apple, Facebook, AMD en Samsung die bijvoorbeeld digitale ASICs ontwikkelen voor AI, nog geen analoge AI chips. Dat zijn niet de minste. En die doen het echt niet fout. Dan kun je ook zonder de specificaties allemaal op te vragen, want Mythic is niet zo open op hun website( 🤔 ), zonder exact te weten waar alle knelpunten in AI liggen (die weet ik ook niet), wel afvragen of de techniek al wel goed genoeg is.
Sorry voor de enorme lap tekst, maar ik wilde daar even iets dieper op reageren 😅
