Kunstmatige intelligentie
- Edited
Het punt is dat AlphaZero niet specifiek ontworpen is voor deze bordspelen (en Starcraft). AlphaZero heeft deze spellen leren spelen op basis van niets anders dan de regels van het spel.
In potentie kan dit systeem vanalles leren, niet alleen de dingen die het al heeft geleerd. Wat de grenzen daarvan zijn is volslagen onduidelijk.
Hoewel dat in mijn beleving wel voor een belangrijk deel een filosofische discussie is.Molurus Het klopt natuurlijk dat AlphaZero een brede variëteit aan spellen al beheerst of kan leren, maar dat is niet relevant voor of het een narrow of general AI is. AlphaZero moet eerst getraind worden vóór het een spel beheerst (door als imput de wincondities en een database van spellen te geven). AlphaZero kan daarom per definitie niet alles, want dan zou je het eerst in alles moeten trainen.
Een general AI kan nadat het klaar is elk denkbaar probleem oplossen zónder aanvullende training. Zoals Rob Miles in die video zegt: je zou general AI kunnen zien als een narrow AI met als domein "de gehele realiteit".
tsjok Het klopt natuurlijk dat AlphaZero een brede variëteit aan spellen al beheerst of kan leren, maar dat is niet relevant voor of het een narrow of general AI is. AlphaZero moet eerst getraind worden vóór het een spel beheerst (door als imput de wincondities en een database van spellen te geven). AlphaZero kan daarom per definitie niet alles, want dan zou je het eerst in alles moeten trainen.
In welk opzicht geldt dit niet voor mensen? Iets leren zonder erop te trainen klinkt mij in de oren als een regelrechte contradictie.
Molurus Mwah, als we bijvoorbeeld kijken naar AlphaZero, het experiment van Google Deep Mind om te zien wat dat systeem doet met een schaakspel, dan is er weinig inputdata en weinig output data.
Blijft een neuraal netwerk dat uit een bepaalde input een bepaalde output genereert. Alleen is die KI anders getraind, doordat hij zijn eigen tussentijdse output ook weer als input kan gebruiken. Maar de uiteindelijke gewenste output is hier waarschijnlijk juist strikter door de mens omlijnd dan bij andere KI-systemen: namelijk schaakbewegingen die zich aan de spelregels houden en die tot winst leiden.
Bij AlphaZero geldt wel dat vanuit een ML-perspectief het een overduidelijke vorm van reinforced learning is: het systeem heeft een duidelijk doel (het winnen van een schaakspel) binnen een duidelijke set regels. Daarbinnen kan AlphaZero met tussendoelen komen die het einddoel faciliteren (en die soms buiten de verbeelding van de mens liggen), maar die zijn altijd gelinkt aan het einddoel. Interessanter is hoe je een systeem als AlphaZero zou kunnen gebruiken voor zuiver unsupervised learning - dergelijke vormen van ML worden nu vooral gebruikt (vanuit menselijk perspectief) om betere inzichten in datastructuren te krijgen, maar zou iets als AlphaZero binnen zo'n systeem ook zijn eigen relevante doelen kunnen definiëren?
Molurus Met 'elk denkbaar probleem oplossen' bedoel ik in deze zin niet letterlijk dat elk probleem succesvol opgelost kan worden (er zijn ten slotte ook problemen zonder oplossing, om maar iets te noemen), maar dat het intelligentie in kan zetten om dichter bij de oplossing te komen. Als ik jou nu vraag om te golfen dan kun je dat gaan doen, zelfs al heb je het nog nooit gedaan. AlphaZero moet eerst getraind worden om te kunnen golfen voor het überhaupt een concept heeft van wat dat in zou houden. Een General AI zou net als een mens direct een poging kunnen wagen (en wellicht steeds beter worden met oefening).
Reya Ik vraag me wel af hoe je er voor zou zorgen dat als een ML-systeem zijn eigen doelen laat definiëren, je er nog een 'nuttige' uitkomst uit kan halen. De doelen die voor zo'n netwerk relevant lijken hoeven natuurlijk vanuit menselijk perspectief helemaal niet begrijpelijk of relevant te zijn.
ML is echt zo'n onderwerp waarvan ik wou dat ik er meer van begreep.
tsjok Ik vraag me wel af hoe je er voor zou zorgen dat als een ML-systeem zijn eigen doelen laat definiëren, je er nog een 'nuttige' uitkomst uit kan halen. De doelen die voor zo'n netwerk relevant lijken hoeven natuurlijk vanuit menselijk perspectief helemaal niet begrijpelijk of relevant te zijn.
Je hoeft het ook niet direct in "zuivere" zin te zien. De verwijzing van AlphaZero van Molurus is ook weer niet zo vreemd, omdat AlphaZero de restricties die het is opgelegd (het doel is het winnen van het spel binnen de regels) op zo'n manier gebruikt dat het bijna niet meer navolgbaar is. Je zou dat progressief kunnen toepassen op complexere systemen met meer fluïde doelen, en dan zul je ook meer en meer zien dat systemen onnavolgbare tactieken en strategieën zullen implementeren.
- Edited
Reya Interessanter is hoe je een systeem als AlphaZero zou kunnen gebruiken voor zuiver unsupervised learning - dergelijke vormen van ML worden nu vooral gebruikt (vanuit menselijk perspectief) om betere inzichten in datastructuren te krijgen, maar zou iets als AlphaZero binnen zo'n systeem ook zijn eigen relevante doelen kunnen definiëren?
Ik zou eigenlijk niet weten waarom niet, of waarom dit iets fundamenteel anders zou zijn dan het bepalen van deel-doelen in een schaakspel.
De vraag of hij zelf ook, in de kosmos, doelen kan bepalen voelt een beetje aan als de vrije wil discussie. Of de mens werkelijk andere doelen kan kiezen die niet voortvloeien uit onze evolutionaire achtergrond en ons doel om succesvol te bestaan is ook maar de vraag.
De wereld van de mens is vooral groter dan die van een AI systeem die Starcraft speelt. Maar ik zie geen essentiele verschillen in de manier waarop daarmee wordt omgegaan.
tsjok Als ik jou nu vraag om te golfen dan kun je dat gaan doen, zelfs al heb je het nog nooit gedaan. AlphaZero moet eerst getraind worden om te kunnen golfen voor het überhaupt een concept heeft van wat dat in zou houden.
Dit klinkt, maar corrigeer me vooral als je iets anders bedoelt, alsof je denkt dat een mens niet hoeft te trainen om een schaakgrootmeester te worden terwijl AlphaZero dat wel moet. Dit lijkt me eerlijk gezegd absurd. Wij moeten dat ook leren. Als je een kind de golfbaan opstuurt om een potje golf te spelen mag je blij zijn als hij de bal raakt.
Dus waarin je hier nu een fundamenteel ziet is mij eerlijk gezegd een volslagen raadsel. Elk intelligent systeem moet dingen leren, ook mensen.
tsjok Als ik het goed begrijp zijn de overwegingen/tussenstappen van AlphaZero fundamenteel onkenbaar, toch? Hoe weten we dan dat de tactieken onnavolgbaar zijn?
Kijken naar neurale netwerken in actie is een beetje alsof je probeert door met een microscoop te kijken naar menselijke hersenen te ontdekken wat jij allemaal denkt tijdens het lezen van deze post. Het is 1 grote brei.
Hoe we weten dat de tactieken in, bijvoorbeeld, het schaken onnavolgbaar zijn vereist vrees ik wel enige minimale kennis van het schaakspel. Maar op goed geluk en in de hoop dat je er iets van meekrijgt, hier Daniel King over een inmiddels redelijk oude partij van AlphaZero en zijn perceptie van wat daar gebeurt:
Reya Onnavolgbaar meer in overdrachtelijke zin. Als je Carlsen of Nakamura live een AlphaZero partij laat analyseren, zullen ze met enige regelmaat versteld staan van de zetten van AZ, omdat die geënt zijn op een positioneel begrip dat het menselijk inzicht te boven gaat.
Het is natuurlijk al vrij lang zo dat schaakcomputers veel sterker zijn dan mensen. Dat was met Stockfish ook al lang zo. Toch is dat altijd geweest op het niveau van 'kunst! Die computers kunnen foutloos 20 zetten vooruit rekenen, en daarmee wordt elke fout gewoon genadeloos afgestraft'. Bij AlphaZero lijkt het er echter, voor het eerst, sterk op dat hij niet alleen goed kan rekenen maar ook conceptueel het spel fundamenteel anders benadert.
Maar zoals gezegd: er is wel begrip van schaken an sich voor nodig om dat engiszins op waarde te schatten.