Pink-Floyd-Song anhand von EEG-Aufzeichnungen rekonstruiert

Berkeley – Vor einem Jahrzehnt hatten Neurologen einer US-Klinik bei 29 Epilepsiepatienten die intrakraniellen EEG-Signale aufgezeichnet, während sie ihnen ein Lied der englischen Rockband Pink Floyd vorspielten.

Jetzt ist es Informatikern gelungen, den Song aus den Hirnsignalen einigermaßen zu rekonstru­ieren. Auf den in PLoS Biology (2023; DOI: 10.1371/journal.pbio.3002176) vorgestellten Clips ist der Song in seinen Grund­zügen zu erkennen.

Seit längerem haben Neurologen beobachtet, dass Sinnesreize, Gefühle und Gedanken das Elektroenzephalo­gramm (EEG) verändern. Das EEG misst die elektrischen Felder, die in der Umgebung von Neuronen entstehen.

Die normalen EEG-Ableitungen, die auf der Kopfhaut erfolgen, messen die Summe der elektrischen Aktivität, die sich nicht auf einzelnen Neurone zurückführen lässt, geschweige denn auf den aktuellen Anlass ihrer Aktivierung. Hinzu kommt, dass die Signale durch die Schädelkalotte deutlich abgeschwächt sind.

Bei Patienten mit einer Epilepsie, die durch Medikamente nicht zu kontrollieren ist, werden die Elektroden nach der zeitweiligen Entfernung des Schädeldachs direkt auf der Oberfläche des Gehirns platziert.

Das Ziel besteht meistens darin, den Ursprungsort einer Epilepsie zu lokalisieren, in der Hoffnung, die Erkrankung durch die Entfernung dieses Hirnabschnitts zu heilen. Diese Untersuchungen finden in der Regel bei Bewusstsein der Patienten statt, weil jede Narkose die Hirnaktivität dämpft und damit auch das EEG verändert.

Bei 29 Patienten hatten die Forscher damals das EEG aufgezeichnet, während sie den Patienten den Song „Another brick in the wall“ vorspielten. Auf den Hirnhäuten hatten sie damals nicht weniger als 2.668 Elek­troden platziert. Die Daten sind in den vergangenen Jahren mehrfach genutzt worden, um die Auswirkungen der verschiedenen Aspekte der Musik auf die Hirnfunktion zu untersuchen.

Keinem Team war es jedoch gelungen, den Song aus den EEG-Daten zu rekonstruieren. Dies gelang jetzt einem Team um Robert Knight von der Universität Berkeley in Kalifornien mit der aktuellen Computerleistung und den Algorithmen einer künstlichen Intelligenz (KI).

Wie üblich bei der Methode wurde die KI zunächst mit den Daten der EEG-Signale gefüttert, die sie mit den entsprechenden Stellen in dem Song verglich. Eine 15 Sekunden lange Sequenz des Liedes wurde ausge­nommen.

Diese Sequenz sollte die KI später anhand des erlernten Algorithmus erzeugen. Das Ergebnis, das die Forscher vorstellen, ist alles andere als perfekt, das Lied ist jedoch in seiner Grundstruktur erkennbar. In einem Spek­tro­gramm – einer Visualisierung der Audiowellen – betrug die Übereinstimmung mit dem echten Songclip 43 %.

Für die Rekonstruktion nutzte die KI nur die EEG-Signale von 347 Elektroden. Diese Elektroden befanden sich hauptsächlich über drei Regionen des Gehirns: dem Gyrus temporalis superior, dem sensomotorischen Cortex und dem Gyrus frontalis inferior. Wichtig für die Auswertung waren vor allem die Ableitungen auf der rechten Gehirnhälfte. Dies ist interessant, da Sprache, die ja ein wichtiger Bestandteil der Musik ist, vor allem auf der linken Hemisphäre verarbeitet wird.

Das längerfristige Ziel der Forscher ist ein Brain-Computer-Interface, das es Patienten mit Hirnerkrankungen, etwa einer amyotrophen Lateralsklerose oder einer Aphasie, ermöglichen würde, mit ihrer Umgebung über eine computergenerierte Sprache zu kommunizieren, die die musikalischen Elemente wie Rhythmus, Betonung, Akzent und Intonation berücksichtigt. Bis dahin dürfte es allerdings noch ein weiter Weg sein.

rme