Indrukwekkend om te zien hoe dit allemaal in sprongen vooruitgaat: je kan nu behoorlijk accurate 3d-weergaven van een omgeving creëren met wat foto's als input. Hoe vet zou het zijn om deze technologie op Google Streetview los te laten. Of dat je op basis van een handvol oude foto's de woonkamer uit je jeugd in VR kan genereren.
Ja, of complete remakes van oude films van baggerkwaliteit.
Molurus
Daar heb je al relatief goede algoritmes voor. Dat wat voor They Shall Not Grow Old nog echt baanbrekend was, is tegenwoordig relatief toegankelijke technologie. Zoeken op "4k 60fps colorized" levert sloten aan dergelijke video's op:
Nice, hoewel dit denk ik nog wel veel beter kan. Bergen archiefmateriaal wat in de komende decennia kan worden opgelapt!
Deze post maar even hier, omdat het relevant is aan AI, en dan komt hier wellicht ook weer wat leven in.
Ik erger mij al de hele dag kapot aan deze video. Veritasium stond geloof ik nog wel redelijk bekend als een betrouwbaar platform dat op een interessante manier wetenschappelijke informatie behapbaar maakt voor de massa. Hij wordt volgens mij ook hier nog wel eens gelinkt. Met deze video valt wel te concluderen dat dit helemaal niet meer het geval is.
Ik kom met deze video echt niet veel verder dat Veritasium expres de werkelijkheid verdraait en details onthoudt aan de video om met een meer interessant product te komen waarop men deze clickbait titel los laat, of dat hij gewoon daadwerkelijk geld heeft ontvangen om een nieuw product op te geilen aan Venture Capital firms. Want het bedrijf dat deze analoge chips ontwikkeld is namelijk de enige 'expert' aan het woord.
Mocht iemand deze al gezien hebben, je hoeft je PC nog niet uit het raam te flikkeren: we bouwen computers niet fout. Ook niet voor artificial intelligence.
Paar dingetjes die ik er uit wil pakken:
Zogenaamde accelerators zijn eigenlijk niets nieuws. Integrated Circuitry bestaan al decennia. Ook zijn niet alle digitale computers zogenaamde Von-Neumann Architecturen. Zowel Intel als AMD hebben bijvoorbeeld enigszins recent een grote FPGA speler opgeslokt. Deze FPGAs worden toegepast voor AI accelerators, en hebben geen last van de Von-Neumann bottleneck. De video draagt dit probleem aan als een groot probleem binnen digitale computers, het probleem is al lange tijd bekend en er zijn vele oplossingen voor van verschillende bedrijven.
Het concept van een niet-configureerbare, optimale geintegreerde circuits specifiek gemaakt voor problemen als dit bestaat al: een ASIC. Het enig nieuwe aan dit ontwerp is de matrix multiplicatie in het analoge domein wordt uitgevoerd, dat extra ruis oplevert maar volgens het bedrijf minder stroom verbruikt. Het is niet dat computers verkeerd worden gebouwd. De vergelijking van het stroomverbruik richting een processor of GPU is een oneerlijke vergelijking. Deze kunnen namelijk ten alle tijden opnieuw geconfigureerd worden en hebben gewoon een voordeel dat harde implementaties niet hebben. Terwijl het juist altijd harde implementaties zoals ASICS of ICs zijn die de hoogste throughput(snelheid) voor het laagste stroomgebruik hebben.
Voor het meest energievretende onderdeel van AI, het trainen, verwijst ook het bedrijf naar de GPU. De chip is, net als een ASIC, of bijvoorbeeld Google's TPU eigenlijk alleen echt geschikt voor implementatie. Tot zo ver de 'baanbrekende' analoge computer. En dat is nog helemaal buiten de grove fout aan het einde waar wordt gesuggereerd dat analoog hetzelfde zou zijn als parallellisme. Digitale computers zonder parallellisme bestaan bijna niet meer. Wellicht dat je in goedkope, kleine elektronica nog een chip vind die alles stapje voor stapje doet (wat hier foutief impliciet digitaal wordt genoemd), maar binnen moderne digitale computers bestaat dat eigenlijk niet meer.
Als je een beetje door de reacties scrolt kom je wellicht nog wel wat andere punten tegen, maar je zal door de pagina's van "ja en amen" moeten werken die deze video helemaal de hemel inprijzen die nu vol overtuigd zijn dat we qua computers weer terug moeten naar het oude. Beetje jammer dit.
PolitiekGeaard Ik ga zometeen even je video kijken en uitgebreid reageren maar ik wilde je alvast wijzen op deze video:
Veritasium is tegenwoordig gewoon onzin.
tsjok
Oeh, een uur. Die bewaar ik voor vanavond. Bedankt.
tsjok
Ik heb hem gekeken, flink off-topic wordt dit nu, maar goed.
Grappig genoeg heb ik dus de originele video ook gezien, en ik moet eerlijk toegeven dat bij het kijken van die originele video mijn kritisch denken op standje 'uit' heeft gestaan. Nu kijk ik meestal dit soort video's meer als entertainment tijdens de middagpauze dan nadenkstof, maar hier schrik ik eigenlijk toch wel behoorlijk van. Ik denk dat je het argument wel kunt maken dat ook met goed kritisch denken je wel wat haken en ogen kunt vinden in zijn meest recente video's, maar er komen wel een hele grote drek aan 'corporate' statistieken voorbij die je als leek in dit onderwerp maar moeilijk kunt controleren. De video's zijn extreem gelikt en weten toch wel op manier hun argument te brengen die je bij het snel wegkijken van dit soort video's wel redelijk snel slikt.
Het is dat ik specialistische kennis heb op het gebied van computer architectuur, anders was ik denk ik niet achter de fouten van z'n recente video gekomen. Als ik van mensen die helemaal niks van computer architectuur afweten de vraag krijg "wat doe jij?", aangezien ik momenteel afstudeer, dan probeer ik een beetje uit te leggen wat een FPGA nou precies is. Dat is eigenlijk al niet te doen, omdat men vaak nooit nagedacht heeft wat een computer nou precies is. Deze video lijkt meer te zijn voor mensen die de basis al wel gewoon hebben maar dan nog moet je echt exact de specialistische kennis hebben om te kunnen pinpointen waar de problemen in deze video liggen anders dan lijkt deze video toch al snel de volledige waarheid.
Het stuk in de video, waar ze het hebben over 'omitten' is wel echt een centraal onderdeel in de Analoge Computer video. Er wordt zoveel weggelaten over de negatieve aspecten van zo'n analoge computer, het kamp 'digitale computer' wordt zo klein afgebeeld dat het beeld wel heel erg snel ten goede van deze analoge AI Accelerator komt. En dan is de video nog niet eens als 'sponsored' omschreven.
Ik kan mij ook herinneren dat dit bij oudere video's van dit kanaal vaak niet op deze manier ging. Vaak zat er ook niet echt een futuristisch component in waar er gekeken werd naar een oplossing voor een probleem, maar meer een concept of natuurkundig proces. Dat is ook hoe dit kanaal bij mij wel wat krediet had opgebouwd.
PolitiekGeaard Oké, de video gekeken die jij postte.
Ik heb bij het lezen van jouw comment en de video van Tom Nicolas eigenlijk een beetje hetzelfde gevoel - dat je door Veritasium gewoon opgelicht wordt. Ik heb echt nul verstand van computerarchitectuur en dan is het echt heel moeilijk om specifieke dingen te herkennen die niet kloppen. Ik heb expres éérst de video gekeken en daarna jouw comment gelezen. Sommige dingen kan ik dan wel herkennen als dat het wat vaag en onaannemelijk klinkt maar de specifieke problemen miste ik natuurlijk totaal. De video van de self-driving cars is ietsje makkelijker omdat het onderwerp wat minder technisch is maar de stijl waarin informatie eenzijdig, onvolledig en soms echt fout wordt gepresenteerd is exact hetzelfde.
Wat wel opvallend is dat de video over Weimo letterlijk is gesponsord, maar deze niet. Toch kun je je niet aan de indruk onttrekken dat Veritasium heel specifiek een matige techniek aan het verkopen is.
En ik kende Veritasium inderdaad ook als een interessant en oprecht kanaal. Ik vind dit echt zonde.
Het hoeft dus niet een matige techniek te zijn. Het probleem is dat hij presenteert dat de problematiek in het Von-Neumann Bottleneck ligt, het idee dat geheugen traag is, en dat dit iets inherent is aan digitale computers. In praktisch elke AI accelerator die vrijwel allemaal digitaal zijn is dit dus ook geen probleem, en is alleen een inherent probleem in processoren die op het Von Neumann architecturen werken. Praktisch alle serverbakken en GPU zonder dit soort acceleratoren hebben dit probleem inderdaad, maar het is lang niet de enige oplossing en zeker niet inherent aan het digitale aspect.
Mijn afstudeeropdracht gaat om het kijken naar "approximate computing". Voor een opdracht, waar net als binnen AI, veel multiplicatie op datastromen toegepast wordt. Hierbij worden er fouten in de multiplicatie module toegevoegd, zeg maar, met als doel om deze module kleiner te maken. Minder stroomverbruik, kleinere oppervlak, maar wel een (voorspelbare) fout. Voor sommige doeleinden is dat prima. Dus om te zien dat hier een bedrijf gewoon de hele multiplicatie naar het analoge domein verplaatst, en dus het stroomverbruik van Digitaal->Analoog, en Analoog->Digitaal conversies op te koop toe neemt er dan daar blijkbaar goede resultaten uit krijgt is wel interessant. Veritasium noemt hier bijvoorbeeld ook 'ruis' als probleem, althans hij noemt het feit dat twee keer dezelfde berekening maken niet hetzelfde antwoord geeft. Dat gaat hier natuurlijk wel een concreet probleem worden. Hij zegt van niet, ik ben niet overtuigt. In vergelijking, het probleem waar ik aan werk vind zich plaats in de radioastronomie, die zijn wel wat ruis gewend. Neural Networks waar ik een paar terug mee heb gewerkt waren allemaal deterministisch, en kleine afwijkingen gaven enorm verschillende resultaten.
Dan komt er nog bij dat het trainen van neurale netwerken een taak is voor iemand die goede kaas gegeten heeft van statistiek, niet perse iemand die in de elektronica zit. Voor één probleem kan het ene model veel beter werken dan de andere. Dat kun je dus niet op een voorgebakken chip doen, ook niet op een ASIC, ook niet op deze Mythic chip. Daar moet alsnog een GPU, CPU of misschien een FPGA bij komen kijken. En dan wellicht een keer bij je uiteindelijke product moet je hier aan gaan denken. Ik geloof dat hij dit probleem ook aandraagt in zijn video: dit trainen gebruikt veel stroom, daar is dit dus geen oplossing voor.
Het gaat er allemaal te vlot over heen. Hier en daar wat fouten, en dan is daar opeens een kleine start-up die een revolutionair product heeft. Het zijn bedrijven als Google, Qualcomm, Amazon, Apple, Facebook, AMD en Samsung die bijvoorbeeld digitale ASICs ontwikkelen voor AI, nog geen analoge AI chips. Dat zijn niet de minste. En die doen het echt niet fout. Dan kun je ook zonder de specificaties allemaal op te vragen, want Mythic is niet zo open op hun website( 
), zonder exact te weten waar alle knelpunten in AI liggen (die weet ik ook niet), wel afvragen of de techniek al wel goed genoeg is.
Sorry voor de enorme lap tekst, maar ik wilde daar even iets dieper op reageren 
Ik heb hier weinig aan toe te voegen maar vind het erg interessant om te lezen. 
️
Ik gebruik even dit oude topic om mijn hobby afgelopen dagen te delen: de text-to-image generator DALL-E. Het is een AI die afbeeldingen kan maken met elke tekst-invoer, maar wel met wisselend succes.
Via reddit nog meer prachtige en hilarische creaties op https://www.reddit.com/r/weirddalle/. Je kunt het zelf proberen via https://huggingface.co/spaces/dalle-mini/dalle-mini, de site is wel vaak overbelast maar een paar keer vernieuwen of even later weer proberen helpt doorgaans.
Ik zag deze laatst ook al voorbij komen. En altijd de afsluiting: stel je voor hoeveel meer mogelijk is over een paar maanden/papers. Is sowieso wel een interessant YouTube-kanaal om te volgen, als je die AI-dingen interessant vindt.
Sinds een tijdje is openai in publieke bèta. Zo te zien hoef ik straks mijn forumposts helemaal niet meer zelf te bedenken!
Finish the text
The current inflation caused by high prices for natural gas, puts nuclear energy and coal on another light. In particular, natural gas is a very important fuel for many electric power plants. If the price of natural gas goes up, the price of electricity goes up as well.
The same can be said for coal. If the price of coal goes up, the price of electricity goes up as well. This is because coal is the main fuel used to generate electricity.
Nuclear energy is not as affected by inflation as coal and natural gas. This is because nuclear fuel is not a major part of the cost of nuclear power plants. The cost of nuclear power plants is mainly the cost of building and operating the plants.
Finish the text
Historically, livestock farms have been emitting large amounts of potassium, causing significant distress to protected natural reserves. In order to solve this problem, the government should consider investing in new agricultural practices that are more environmentally friendly.
Some possible options for the government to invest in are:
Promote the use of potassium-rich fertilizers among farmers.
Encourage farmers to adopt grazing practices that result in less potassium being emitted.
Provide financial incentives for farmers to switch to potassium-efficient irrigation systems.
Help fund research into new potassium-reducing livestock farming practices.
Work with the livestock industry to develop new regulations that limit the amount of potassium that farms can emit.
By investing in these sorts of initiatives, the government can help to reduce the impact that livestock farms have on the environment, and protect important natural reserves.
Ossu
Deze AI reageert als een echte internetveteraan.
We zijn nog niet bekomen van de impact van Chat GPT-3, maar GPT-4 is al in de lucht. En deze zou nóg capabeler moeten zijn.
Drietebuul Dat werd ook wel tijd, want de vorige versie is al door Danny geïntegreerd in z’n forum.
Als dit zo doorgaat zijn we binnen afzienbare tijd allemaal werkloos.
GPT-4 scoorde in het 90e percentiel bij het uniform bar exam, 99e percentiel bij de Biologie Olympiade. Op Youtube en Twitter kun je fragmentjes vinden van bijvoorbeeld mensen die met GPT-4 op basis van een schets op een a'tje een werkende website laten genereren, een dagvaarding op laten stellen op basis van een korte omschrijving van de casus, of een simpele game laten programmeren op basis van een paar regels tekst.
Drietebuul Dit zijn allemaal wel vrij specifieke AI's. Geef ze een opdracht, zij maken het. Dat deze ChatGPT dat beter doet dan de vorige maakt het nog niet echt intelligent, maar gewoon beter in de taak waarvoor het ontworpen is.
Voor eenvoudig digitaal werk komt wel minder emplooi, ja. Tante Gerda gaat voor een logo voor haar webwinkel in brocante natuurlijk niet 400 euro betalen aan een grafisch ontwerper, maar die slingert gewoon deze tool aan voor een veel kleiner bedrag. Die hele webwinkel van haar hoeft ook niet door een designer gemaakt te worden. Maar wat dat laatste betreft was low-code al een 'bedreiging' voor de eenvoudige huis- tuin- en keukendeveloper. Die stonden dus toch al onder druk. Echt maatwerk blijft bestaan, omdat er ook onderscheidend vermogen zit in iets met de hand laten maken. Dat is dan niet voor Gerda, maar wel voor grote bedrijven en instellingen.
We kopen ook nog handgemaakte tafels, kunstwerken en serviesgoed. Terwijl we ook alles bij IKEA hadden kunnen kopen en daarmee vele beroepsgroepen hadden kunnen marginaliseren.
Het wordt pas echt een probleem als er een self-aware AI komt. Dat duurt nog wel even. Nu is er gewoon een IKEA geïntroduceerd voor wat tot voor kort als 'skilled' werd werd gezien. Maar ook binnen die vakgebieden zijn er nogal wat gradaties. Ik denk dat vooral mensen zonder intrinsiek talent of motivatie het onderspit delven, want die moesten het juist van Gerda hebben.
Myst
Ja ik kan volgen dat we nog niet zo ver zijn. Nog.
Maar zelfs als het "slechts" tot gevolg zou hebben dat de huis tuin en keuken programmeur, grafisch ontwerper, en juridisch ondersteuner werkloos worden Dan nog zouden de maatschappelijke implicaties daarvan enorm zijn. Er worden nu miljoenen mensen opgeleid voor functies die binnen afzienbare tijd compleet overbodig zullen zijn.
Tsja, “techprominenten” die pleiten voor een rem van tenminste zes maanden op de ontwikkeling van kunstmatige intelligentie. De roep om aandacht is wel terecht want politici moeten zich erover buigen want er moet wetgeving komen en ook awareness bij de gemiddelde burger kan geen kwaad.
Maar als westerse bedrijven echt de ontwikkeling van AI stil zouden leggen lijkt mij dat vooral China dat toe zou juichen.
Zes maanden, daarin kunnen we net onze eigen achterstand goedmaken alle fundamentele bezwaren van geavanceerde A.I. oplossen.
https://www.nrc.nl/nieuws/2023/11/19/bedrijfssoap-bij-openai-ontslag-topman-sam-altman-legt-interne-strijd-bloot-a4181345
https://archive.is/QjVxf
Er lijkt een machtsstrijd gaande binnen OpenAI, tussen, kort gezegd, mensen die snel bakken met geld aan AI willen verdienen en zij die veel terughoudender zijn omdat ze weten dat AI de samenleving op alle niveaus zal gaan beïnvloeden. Aan de snelle geld kant staat de ontslagen Sam Altman en de belangrijkste vertegenwoordiger van de voorzichtige kant is Ilya Sutskever die in de video hieronder zijn ideeën over AI deelt.
Laatste nieuws: https://www.reuters.com/technology/microsoft-ceo-says-sam-altman-will-be-joining-microsoft-2023-11-20/
Op zich goed, dan kan OpenAI “puur” blijven, maar de vraag is hoeveel mensen in z’n kielzog zullen volgen naar Microsoft.
https://nos.nl/artikel/2499299-van-plots-ontslag-tot-personeelsopstand-106-uur-crisis-bij-openai
Nou dat waren 5 intense dagen, maar Altman is terug bij OpenAI 
Haal hem dan maar even hier naartoe.
Volgens mij zit de wow-factor van de tekst-en-plaatjes-generatoren niet zozeer in het feit dat we nu zo'n hoge pet op hebben van de menselijke creativiteit. Voor een beetje copywriting of het maken van een schetsje hoef je geen genie te zijn. Maar de moeilijkheid was - voor zover ik begrijp- altijd dat er in dat soort werken allerlei moeilijk te duiden geïmpliceerde kennis zit. Lichtbreking, scherptediepte, perspectief, anatomie, ruimtelijk inzicht, en voor teksten een begrip van woorden binnen een bepaalde context (zoiets)
Ben het met je eens dat we van dit soort speelgoedjes niet direct revoluties hoeven te verwachten. Niemand zit te wachten op AI-klantenservice of zo.
Maar als ik dan zie wat men bijvoorbeeld stelt te kunnen met simulatie van eiwitstructuren, dan biedt dat toch een hoop perspectief op medische doorbraken.
Drietebuul Ik kan al best eenvoudig meetings samenvatten met MS Co-Pilot.
Dat is ook geen rocket science, maar kan wel voor efficiëntie zorgen (niet meer meetikken in Teams calls).
https://notebooklm.google kan zelfs een podcast voor je maken op basis van de gegeven input.
Drietebuul Dit is misschien een betere plek inderdaad. In zekere zin heeft het 'overschatten van de menselijke creativiteit' ook te maken met wat jij hier schetst. Wij gaan er namelijk vanuit dat de zaken die jij hier noemt randvoorwaardelijk zijn voor het resultaat, terwijl een LLM feitelijk niets meer doet dan het volgende element in een sequentie voorspellen op basis van een hele grote trainingsset (goed, er zijn ook al wel wat modellen die dat combineren met andere technieken, maar dan nog). Nog een stap verder zie je vaak dat mensen toch min of meer lijken te denken dat de technologie ook daadwerkelijke die vaardigheden bezit, maar een LLM heeft werkelijk geen flauw besef van wat ie uitspuugt in de zin dat mensen dat hebben. Daarom kunnen die modellen vaak al niet eens fatsoenlijk aangeven hoe vaak de letter R voorkomt in een woord om maar wat te noemen, een taak die voor mensen letterlijk kinderlijk eenvoudig is.
GS noemt het samenvatting van meetings, misschien geldt dat als nuance en detail er niet al te veel toe doet en het simpelweg gaat om het feit dat Henry de bitterballen regelt en David het bier. Maar ik merk toch vaak dat als mensen vol trots met zo'n samenvatting komen en dat er best wat elementen van herkenning inzitten, dat het voor mij persoonlijk een veel te hoog klok-klepel gehalte heeft, de cruciale details gemist worden terwijl er zaken bijgehallucineerd worden en ga zo maar door.
Ons eigen vakgebied is natuurlijk het eerste aan de beurt waar het aankomt op potentieel productiviteitsverhogende zaken. Ik heb zelf wel een tijdje gewerkt met een AI assistent die dingen kan doen als suggesties voor code fragmenten, wijzigen analyseren en een samenvatting in natuurlijke taal genereren, voorstellen voor verbetering doen, bestaande code uitleggen en ga zo maar door. In het begin was ik heel enthousiast, maar na een half jaartje moest ik toch ook wel bekennen dat de echte productiviteitswinst daar niet behaald wordt. Zeker niet voor mensen zoals ik met al 20 jaar ervaring.
En vooropgesteld AI is veel breder dan de enorme hype die we hebben omtrent generatieve AI natuurlijk, maar dat is wel waar het grote geld naartoe gaat vandaag de dag.
mono Uiteindelijk is 80% van de meetings 'wie regelt x, wie doet y' en is het niet heel belangrijk (of: alternatief, je loopt het zelf na en kijkt of het klopt wat er is gezegd). De 20% hoog-technische meetings waar het gaat om de letter wat iemand zegt, in plaats van grote lijnen, zul je wellicht nog zelf moeten doen. Maar ik heb ook genotuleerde vergaderingen bijgewoond waar er gewoon aantoonbare onwaarheden in de minutes zaten, in het kader van 'wie schrijft, die blijft'. Dus uiteindelijk is het product zo goed als de notulist die het vervangt.
Grootste voordeel voor mijn branche is dat ChatGPT 5-10x meer stroom & data kost dan een Google search, dus alle studenten die hun werk doen, boosten de vraag naar mijn datacenters.
Maar even van het Evil Big Tech topic naar hier:
Myst Ik ben het hier helemaal mee eens. Voor jezelf nadenken is gewoon een zinvolle skill. Alles aan een AI vragen leidt tot mentale luiheid. Ik zal ook wel een boomer zijn, maar dat is niet gezond. Neem een beetje verantwoordelijkheid voor je eigen leven en eigen keuzes. Het algoritme hoeft niet alles voor je te bepalen.
Ik ben het hier ook mee eens hoor, en zeker voor je werk en in je eigen vakgebied. Maar als ik ergens echt heel weinig verstand van heb (zoals bijv. Recht of Reptielen) merk ik dat ik toch wel heel veel tijd bespaar door dit te vragen aan een chatbot ipv aan een zoekmachine die ook een hoop bagger oplevert.
Maar als je ergens een beetje verstand van hebt dat zie je heel snel dat die AI bijvoorbeeld bij juridische vraagstukken de Amerikaanse wetten/jurisprudentie gewoon over andere wetboeken uitsmeert.
remlof Dat is alleen maar echt relevant als je weet dat de trainingdata verschilt. Volgens mij - maar corrigeer me gerust - schrapen de LLM's ongeacht land van herkomst gewoon webpagina's leeg. Het is niet te verwachten dat een Franse AI meer verstand heeft van Nederlands recht dan een Amerikaanse (of van Frans recht).
tsjok Ik vermoed toch wel dat Mistral Europese bronnen een veel hogere relevantie toebedeelt dan Amerikaanse. Toen ik ook nog ChatGPT gebruikte viel het me al op dat Le Chat veel betere en uitgebreidere antwoorden gaf op vragen over Europese kwesties dan de Amerikaanse bot.
Maar probeer het gerust zelf op https://chat.mistral.ai/chat of met de Le Chat app.
