Neurologii învață computerele să citească cuvinte direct din creierul oamenilor.
Kelly Servick, care a scris pentru Science, a raportat săptămâna aceasta pe trei lucrări postate pe serverul de preimprimare bioRxiv în care trei echipe diferite de cercetători au demonstrat că pot decodifica vorbirea din înregistrările de tragere a neuronilor. În fiecare studiu, electrozii plasați direct pe creier au înregistrat activitate neuronală, în timp ce pacienții cu chirurgie cerebrală ascultau vorbirea sau citeau cuvinte cu voce tare. Apoi, cercetătorii au încercat să-și dea seama ce auzeau sau spuneau pacienții. În fiecare caz, cercetătorii au putut să transforme activitatea electrică a creierului în fișiere de sunet cel puțin oarecum inteligibile.
Prima lucrare, postată pe bioRxiv pe 10 octombrie 2018, descrie un experiment în care cercetătorii au jucat înregistrări de vorbire la pacienții cu epilepsie care se aflau în mijlocul unei intervenții chirurgicale cerebrale. (Înregistrările neuronale efectuate în experiment au trebuit să fie foarte detaliate pentru a fi interpretate. Și acest nivel de detaliu este disponibil numai în rarele circumstanțe în care un creier este expus aerului și electrozii sunt așezați direct pe el, cum ar fi în chirurgia creierului. .)
Pe măsură ce pacienții ascultau fișierele de sunet, cercetătorii au înregistrat focuri de neuroni în părțile din creierul pacienților care procesează sunetul. Oamenii de știință au încercat o serie de metode diferite pentru a transforma acele date de tragere neuronală în vorbire și au descoperit că „învățarea profundă” - în care un computer încearcă să rezolve o problemă mai mult sau mai puțin supravegheată - funcționa cel mai bine. Când au jucat rezultatele printr-un vocoder, care sintetizează vocile umane, pentru un grup de 11 ascultători, acei indivizi au putut să interpreteze corect cuvintele 75 la sută din timp.
Puteți asculta audio din acest experiment aici.
A doua lucrare, publicată pe 27 noiembrie 2018, s-a bazat pe înregistrări neuronale de la persoanele supuse unei intervenții chirurgicale pentru a elimina tumorile cerebrale. În timp ce pacienții citeau cuvinte cu o singură silabă cu voce tare, cercetătorii au înregistrat atât sunetele care ieșeau din gurile participanților, cât și neuronii care trăgeau în regiunile producătoare de vorbire ale creierului lor. În loc să antreneze computerele profund pe fiecare pacient, acești cercetători au învățat o rețea neuronală artificială pentru a converti înregistrările neuronale în audio, arătând că rezultatele au fost cel puțin rezonabil inteligibile și similare cu înregistrările realizate de microfoane. (Audio din acest experiment este aici, dar trebuie descărcat ca fișier zip.)
A treia lucrare, publicată pe 9 august 2018, s-a bazat pe înregistrarea părții creierului care transformă cuvinte specifice pe care o persoană decide să le spună în mișcări musculare. Deși nu există înregistrări din acest experiment online, cercetătorii au raportat că au fost capabili să reconstruiască propoziții întregi (înregistrate și în timpul operației cerebrale la pacienții cu epilepsie) și că persoanele care au ascultat propozițiile au putut să le interpreteze corect pe o alegere multiplă test (din 10 alegeri) 83% din timp. Metoda acestui experiment s-a bazat pe identificarea tiparelor implicate în producerea de silabe individuale, mai degrabă decât pe cuvinte întregi.
Scopul în toate aceste experimente este de a face ca într-o zi să fie posibil ca persoanele care și-au pierdut capacitatea de a vorbi (din cauza sclerozei laterale amiotrofice sau a unor condiții similare) să vorbească printr-o interfață computer-creier. Cu toate acestea, știința pentru această aplicație nu există încă.
Interpretarea tiparelor neuronale ale unei persoane doar imaginarea vorbirii este mai complicată decât interpretarea tiparelor cuiva care ascultă sau produce discurs, a informat Science. (Cu toate acestea, autorii celei de-a doua lucrări au spus că poate fi posibilă interpretarea activității cerebrale a cuiva care își imaginează discursul.)
De asemenea, este important să rețineți că acestea sunt studii mici. Prima lucrare s-a bazat pe datele preluate de la doar cinci pacienți, în timp ce a doua a privit șase pacienți, iar a treia doar trei. Și nici una dintre înregistrările neuronale nu a durat mai mult de o oră.
Cu toate acestea, știința avansează, iar dispozitivele de vorbire artificială agățate direct la creier par o posibilitate reală la un moment dat în jos.
