Het probleem is dat voor bijvoorbeeld dit voorbeeld:
Alle hidden layer nodes zijn afhankelijk van de output van de input nodes. Je kunt niet al een hidden node gaan berekenen als de input nodes nog niet klaar zijn. Je kunt bijvoorbeeld wel alle hidden nodes asynchroon van elkaar gaan berekenen. En dat je het dus niet boeit welke van die 4, het eerst klaar zijn. Maar alle 4 de taken zullen klaar moeten zijn voordat je met de paarse begint omdat er een data dependency tussen zit. Wacht je niet, dan krijg je een output die niet overeenkomt met je weights. En wat bepaald dan dat de output al een berekening mag maken als de hidden nodes nog niet klaar zijn, en hoeveel mogen er dan nog niet klaar zijn, etc. In de logica van dit soort modellen zit dus altijd een soort van synchroonheid. Terwijl er volgens mij niets in het menselijk brein zit die pas een zenuwcel laat 'vuren', als alle gekoppelde zenuwcellen klaar met wel of niet vuren zijn.
Met één weg bedoel ik dat er alleen een feed-forward path is, er is geen interne feedback. Het training process is min of meer de feedback van dit soort modellen. Maar inderdaad, dat ligt natuurlijk aan het model dat je gebruikt. Daar zullen vast wel concepten omtrent zijn, maar daar heb ik geen kennis van.