Gehirnimplantate, Software-Guide-Rede

Unser Gehirn merkt sich, wie man Wörter formuliert, selbst wenn die Muskeln, die für das laute Aussprechen verantwortlich sind, außer Gefecht gesetzt sind. Eine Gehirn-Computer-Verbindung lässt den Traum von der Wiederherstellung der Sprache wahr werden.

23. August 2023 – Von Bruce Goldman

Frank Willett betreibt eine Software, die Pat Bennetts Sprachversuche – aufgezeichnet von Sensoren in ihrem Gehirn – in Worte auf einem Bildschirm übersetzt.Steve Fisch

Das Rezept von Pat Bennett ist etwas komplizierter als „Nimm ein paar Aspirin und ruf mich morgen früh an.“ Doch ein Quartett von Sensoren in Baby-Aspirin-Größe, die in ihr Gehirn implantiert wurden, sollen ein Problem angehen, das sie und andere frustriert: den Verlust der Fähigkeit, verständlich zu sprechen. Die Geräte übertragen Signale von einigen sprachbezogenen Regionen in Bennetts Gehirn an hochmoderne Software, die ihre Gehirnaktivität entschlüsselt und in Text umwandelt, der auf einem Computerbildschirm angezeigt wird.

Bennett, heute 68, ist ein ehemaliger Personalleiter und ehemaliger Reiter, der täglich joggte. Im Jahr 2012 wurde bei ihr Amyotrophe Lateralsklerose diagnostiziert, eine fortschreitende neurodegenerative Erkrankung, die Neuronen angreift, die Bewegungen kontrollieren, was zu körperlicher Schwäche und schließlich zu Lähmungen führt.

„Wenn man an ALS denkt, denkt man an Arm- und Beinbelastungen“, schrieb Bennett in einem per E-Mail geführten Interview. „Aber bei einer Gruppe von ALS-Patienten beginnt es mit Sprachschwierigkeiten. Ich kann nicht sprechen.“

Normalerweise manifestiert sich ALS zuerst an der Peripherie des Körpers – an Armen und Beinen, Händen und Fingern. Bei Bennett begann die Verschlechterung nicht, wie üblich, im Rückenmark, sondern im Stammhirn. Sie kann sich immer noch bewegen, sich anziehen und mit den Fingern tippen, wenn auch mit zunehmenden Schwierigkeiten. Aber sie kann die Muskeln ihrer Lippen, ihrer Zunge, ihres Kehlkopfs und ihres Kiefers nicht mehr nutzen, um die Phoneme – oder Lauteinheiten wie z. B. sh –, die die Bausteine ​​der Sprache sind, klar auszusprechen.

Obwohl Bennetts Gehirn immer noch Anweisungen zur Erzeugung dieser Phoneme formulieren kann, sind ihre Muskeln nicht in der Lage, die Befehle auszuführen.

Am 29. März 2022 platzierte ein Neurochirurg der Stanford Medicine jeweils zwei winzige Sensoren in zwei separaten Regionen – beide sind an der Sprachproduktion beteiligt – entlang der Oberfläche von Bennetts Gehirn. Die Sensoren sind Bestandteile einer intrakortikalen Gehirn-Computer-Schnittstelle (iBCI). In Kombination mit modernster Dekodierungssoftware sollen sie die Gehirnaktivität, die Sprechversuche begleitet, auf einem Bildschirm in Wörter übersetzen.

Ungefähr einen Monat nach der Operation begann ein Team von Stanford-Wissenschaftlern mit zweimal wöchentlichen Forschungssitzungen, um die Software zu trainieren, die ihre Rede interpretierte. Nach vier Monaten wurden Bennetts Äußerungsversuche auf einem Computerbildschirm mit 62 Wörtern pro Minute in Wörter umgewandelt – mehr als dreimal so schnell wie der bisherige Rekord für BCI-gestützte Kommunikation.

Pat Bennett hat aufgrund von ALS.Steve Fisch ihre Fähigkeit zum Sprechen verloren

„Diese ersten Ergebnisse haben das Konzept bestätigt, und irgendwann wird die Technologie aufholen, um es Menschen, die nicht sprechen können, leicht zugänglich zu machen“, schrieb Bennett. „Für diejenigen, die nonverbal sind, bedeutet das, dass sie mit der größeren Welt verbunden bleiben, vielleicht weiter arbeiten und Freunde und Familienbeziehungen pflegen können.“

„Bennetts Tempo nähert sich langsam der natürlichen Konversationsrate von englischsprachigen Menschen mit etwa 160 Wörtern pro Minute“, sagte Jaimie Henderson, MD, der Chirurg, der die Operation durchgeführt hat.

„Wir haben gezeigt, dass man beabsichtigte Sprache entschlüsseln kann, indem man die Aktivität in einem sehr kleinen Bereich der Gehirnoberfläche aufzeichnet“, sagte Henderson.

Henderson, Professor bei John und Jean Blume-Robert und Ruth Halperin in der Abteilung für Neurochirurgie, ist Co-Hauptautor eines Artikels, der die Ergebnisse beschreibt und am 23. August in Nature veröffentlicht wurde. Sein Co-Autor Krishna Shenoy, PhD, Professor für Elektrotechnik und Bioingenieurwesen, starb vor Veröffentlichung der Studie.

Frank Willett, PhD, ein wissenschaftlicher Mitarbeiter des Howard Hughes Medical Institute, der dem Neural Prosthetics Translational Lab angegliedert ist, das Henderson und Shenoy 2009 gemeinsam gegründet haben, teilt sich die Hauptautorenschaft der Studie mit den Doktoranden Erin Kunz und Chaofei Fan.

Im Jahr 2021 waren Henderson, Shenoy und Willett Co-Autoren einer in Nature veröffentlichten Studie, die ihren Erfolg bei der Umwandlung der imaginären Handschrift einer gelähmten Person in Text auf einem Bildschirm mithilfe eines iBCI beschrieb und dabei eine Geschwindigkeit von 90 Zeichen oder 18 Wörtern pro Minute erreichte – ein bisheriger Weltrekord für eine iBCI-bezogene Methodik.

Als Bennett von der Arbeit von Henderson und Shenoy erfuhr, nahm sie Kontakt mit Henderson auf und meldete sich freiwillig zur Teilnahme an der klinischen Studie.

 

Die Sensoren, die Henderson in Bennetts Großhirnrinde, der äußersten Schicht des Gehirns, implantiert hat, sind quadratische Anordnungen winziger Siliziumelektroden. Jedes Array enthält 64 Elektroden, die in 8-mal-8-Rastern angeordnet sind und einen Abstand voneinander haben, der etwa der Hälfte der Dicke einer Kreditkarte entspricht. Die Elektroden dringen bis zu einer Tiefe in die Großhirnrinde ein, die etwa der Tiefe von zwei übereinanderliegenden Vierteln entspricht.

Die implantierten Arrays sind an feinen Golddrähten befestigt, die durch am Schädel verschraubte Sockel austreten und dann per Kabel an einen Computer angeschlossen werden.

Ein Algorithmus der künstlichen Intelligenz empfängt und entschlüsselt elektronische Informationen, die von Bennetts Gehirn ausgehen, und bringt sich schließlich selbst bei, die unterschiedliche Gehirnaktivität zu unterscheiden, die mit ihren Versuchen verbunden ist, jedes der 39 Phoneme zu formulieren, aus denen gesprochenes Englisch besteht. Es speist seine beste Vermutung über die Abfolge von Bennetts versuchten Phonemen in ein sogenanntes Sprachmodell ein, im Wesentlichen ein hochentwickeltes Autokorrektursystem, das die Phonemströme in die Abfolge von Wörtern umwandelt, die sie darstellen.

Jaimie Henderson

„Dieses System ist darauf trainiert zu wissen, welche Wörter vor anderen stehen sollten und welche Phoneme welche Wörter ergeben“, erklärte Willett. „Wenn einige Phoneme falsch interpretiert wurden, kann es immer noch eine gute Vermutung sein.“

Um dem Algorithmus beizubringen, zu erkennen, welche Gehirnaktivitätsmuster mit welchen Phonemen verbunden sind, nahm Bennett an etwa 25 Trainingssitzungen teil, die jeweils etwa vier Stunden dauerten, in denen sie versuchte, Sätze zu wiederholen, die zufällig aus einem großen Datensatz bestehend aus Gesprächsproben ausgewählt wurden unter Menschen, die telefonieren.

Ein Beispiel: „Das war erst in den letzten fünf Jahren so.“ Ein anderer: „Ich bin mittendrin gegangen.“

Während sie versuchte, jeden Satz aufzusagen, wurde Bennetts Gehirnaktivität, die vom Decoder in einen Phonemstrom übersetzt und dann vom Autokorrektursystem in Wörter zusammengesetzt wurde, auf dem Bildschirm unter dem Original angezeigt. Dann würde ein neuer Satz auf dem Bildschirm erscheinen.

Bennett wiederholte 260 bis 480 Sätze pro Trainingseinheit. Das gesamte System verbesserte sich weiter, als es mit Bennetts Gehirnaktivität während ihrer Sprechversuche vertraut wurde.

Die Fähigkeit des iCBI zur beabsichtigten Sprachübersetzung wurde an anderen Sätzen getestet als denen, die in den Schulungssitzungen verwendet wurden. Wenn die Sätze und das wortbildende Sprachmodell auf einen Wortschatz von 50 Wörtern beschränkt wurden (wobei die verwendeten Sätze aus einer speziellen Liste stammten), betrug die Fehlerquote des Übersetzungssystems 9,1 %.

Als der Wortschatz auf 125.000 Wörter erweitert wurde (groß genug, um fast alles zu verfassen, was man sagen möchte), stieg die Fehlerquote auf 23,8 % – alles andere als perfekt, aber ein riesiger Fortschritt gegenüber dem bisherigen Stand der Technik.

„Dies ist ein wissenschaftlicher Proof of Concept, kein tatsächliches Gerät, das Menschen im Alltag verwenden können“, sagte Willett. „Aber es ist ein großer Fortschritt auf dem Weg zur Wiederherstellung der schnellen Kommunikation für gelähmte Menschen, die nicht sprechen können.“

„Stellen Sie sich vor“, schrieb Bennett, „wie anders die Durchführung alltäglicher Aktivitäten wie Einkaufen, Termine wahrnehmen, Essen bestellen, in eine Bank gehen, telefonieren, Liebe oder Wertschätzung ausdrücken – sogar streiten – sein wird, wenn nonverbale Menschen ihre Gedanken mitteilen können.“ Echtzeit."

Das in dieser Studie beschriebene Gerät ist nur für Forschungszwecke lizenziert und nicht im Handel erhältlich. Die Studie, eine registrierte klinische Studie, fand unter der Schirmherrschaft von BrainGate statt, einem Konsortium aus mehreren Institutionen, das sich der Förderung des Einsatzes von BCIs in prothetischen Anwendungen widmet und von Leigh Hochberg, MD, PhD, Co-Autor der Studie, einem angeschlossenen Neurologen und Forscher, geleitet wird mit dem Massachusetts General Hospital, der Brown University und dem VA Providence (Rhode Island) Healthcare System.

Die Studie wurde von den National Institutes of Health (Zuschüsse U01-DC017844 und U01-DC019430), dem US-Veteranenministerium, dem Stanford Wu Tsai Neurosciences Institute, HHMI, der Simons Foundation sowie Larry und Pamela Garlick finanziert.

Weitere Fotos finden Sie hier (Quelle: Steve Fisch/Stanford Medicine).

Über Stanford Medicine

Stanford Medicine ist ein integriertes akademisches Gesundheitssystem, das die Stanford School of Medicine sowie Gesundheitsversorgungssysteme für Erwachsene und Kinder umfasst. Gemeinsam nutzen sie das volle Potenzial der Biomedizin durch gemeinsame Forschung, Ausbildung und klinische Versorgung von Patienten. Weitere Informationen finden Sie unter med.stanford.edu.

Künstliche Intelligenz, die Daten von einem Gerät interpretiert, das an der Gehirnoberfläche angebracht ist, ermöglicht es Menschen, die gelähmt sind oder die Bewegung ihrer Gliedmaßen stark eingeschränkt haben, per Text zu kommunizieren.

Wie Umwelt und Gesundheit interagieren