Er bestaan al enige tijd modellen die kunnen simuleren hoe het menselijk brein eenvoudige geluiden verwerkt. Maar geen enkel model heeft kunnen aantonen hoe wij een geluid omzetten in iets dat betekenis heeft. We horen een tsjilp, en we weten onmiddellijk dat het een vogel is. Hoe werkt deze vertaling? Wanneer wordt een geluid een vogel? "Deze netwerken simuleren dit proces, niet precies zoals de hersenen dat doen, maar goed genoeg om ons een goed idee te geven van hoe de hersenen deze taken zouden kunnen uitvoeren."

Hoe bevestig je vervolgens de bevindingen? "We namen hersenreacties van een experiment waarbij deelnemers in de fMRI-scanner naar een groot aantal verschillende geluiden luisterden. We speelden dezelfde geluiden af voor veel van deze rekenkundige modellen en vergeleken vervolgens de resultaten". In Marseille deed Giordano hetzelfde experiment maar dan in een gedragscontext, met de vraag: hoe vergelijkbaar zijn deze geluiden? "Door de hersen- en gedragsgegevens te vergelijken, konden we zien welke van de AI-modellen het dichtst bij het werkelijke brein komt. En we konden zien hoe nauwkeurig de resultaten waren: met onze fMRI-resultaten konden we daadwerkelijk de gedragsreacties van deelnemers in Marseille voorspellen."

"Ons brein is in staat om gebeurtenissen uit geluiden te herkennen, zelfs als je dat specifieke geluid nog niet hebt gehoord. Net als bij taal nemen onze hersenen kleine stukjes van geluiden, zoals lettergrepen in een woord, en plakken die aan elkaar om te bepalen dat dit bijvoorbeeld brekend glas zal zijn. We hebben het raadsel nog niet helemaal opgelost, onze hersenen werken niet precies zoals deze modellen. We hoeven niet eerst een miljoen vogels te horen om tot de conclusie tsjilp = vogel te komen". Na de publicatie van deze bevindingen, richt Formisano's werk zich nu op het beantwoorden van de vragen over geluidsverwerking die de modellen (nog) niet kunnen verklaren.

"Met de resultaten van dit onderzoek zijn we begonnen met het bouwen van een eigen neuraal netwerk dat nog dichter bij de werking van het menselijk brein komt. Met dit onderzoek en deze technologie kunnen we bijdragen aan de ontwikkeling van betere geluidsherkenningssoftware." Bijvoorbeeld: alarmsystemen, horende robots of systemen voor ouderen om hen te helpen in en om het huis. Wanneer zij de deur uitgaan, zou het systeem hen eraan kunnen herinneren dat de fluitketel kookt, omdat het systeem het geluid kan herkennen".

Lees de publicatie hier.