Ossu Hedendaagse KI zijn toch vooral algoritmes waar je een heleboel inputdata en verwachte outputdata in stopt om hem te trainen zodat hij in vergelijkbare gevallen vergelijkbare output genereert.
Ik ben daarom niet zo bang voor een KI met een IQ van 500. Het grotere gevaar is volgens mij dat hij onbewuste vooroordelen overneemt die wij zelf in de trainingsdata stoppen.
Mwah, als we bijvoorbeeld kijken naar AlphaZero, het experiment van Google Deep Mind om te zien wat dat systeem doet met een schaakspel, dan is er weinig inputdata en weinig output data. En we kunnen gerust concluderen dat er in de output geen vooroordelen ten aanzien van het schaakspel zitten. Heck, waar dat ding mee kwam werd door zowel de betrokken wetenschappers als schaakmeesters gezien als bijna buitenaards en compleet vreemd.
En nu is dat nog maar een schaakspelletje, het hele idee van een technologische singulariteit vind ik zelf niet heel vreemd. Zo gauw AI systemen zich bezig gaan houden met het ontwerpen van nog krachtiger AI systemen dan wordt het helemaal onduidelijk waar ze mee bezig zijn (dat is het nu al!) en zou de snelheid van vooruitgang op dat vlak best eens exponentieel kunnen zijn.
Ik denk dat de twee grootste vooroordelen hier zijn: 1) het idee dat wat eruit komt daar door ons in is gestopt, en 2) dat wij er controle over hebben / begrijpen wat er gebeurt. Deze twee punten zijn nu effectief al niet meer waar. Ze zijn al niet meer waar ten aanzien van AlphaZero, wat in feite slechts een klein experimentje was.