System wykorzystuje dwa wszczepione zestawy elektrod, które rejestrują aktywność mózgu generowaną przez pisanie liter. Informacje te są następnie gromadzone i przetwarzane w czasie rzeczywistym przez komputer, który przekształca te dane w słowa na ekranie.
Shenoy Laboratory / Erika Woodrum
Ludzi od dawna intryguje pomysł kogoś lub czegoś, co potrafi czytać w naszych myślach – czy to telepata, komputer czy Święty Mikołaj. Teraz naukowcy twierdzą, że opracowali system, który łączy uczenie maszynowe i interfejs mózg-komputer (BCI) do odczytywania pisma ręcznego, które ma miejsce w mózgu, a nie na papierze.
Zespół naukowców pracował z 65-letnim mężczyzną, który został sparaliżowany od szyi w dół i użył czujników wszczepionych do jego mózgu w celu wykrycia aktywności neuronalnej związanej z pisaniem ręcznym. Zgodnie z wyobrażeniem ochotnika pisania listów, działanie to zostało przekazane algorytmowi, który przetłumaczył je w czasie rzeczywistym na tekst wyświetlany na ekranie.
Szczegóły eksperymentu znajdują się w pliku Relacja w bieżącym numerze czasopisma Nature. Współautor opracowania Krishna ShenoyWedług naukowca z Instytutu Medycznego Howarda Hughesa na Uniwersytecie Stanforda metoda ta wydaje się być potencjalnie bardziej skuteczna niż podobne badania, w których ją wypróbowano Przetłumacz język zamiast pisma ręcznego.
„Obecnie inni badacze używający technik uczenia maszynowego do dekodowania mowy mogą stworzyć słownik zawierający około 50 słów” – powiedział Shenoy powiedział w oświadczeniu. „Używając pisma odręcznego do zapisywania setek pojedynczych neuronów, możemy napisać każdą literę, a tym samym każde słowo, które ma prawdziwie„ otwarte słownictwo ”, które może być użyte w prawie każdej sytuacji życiowej”.
Jest nadzieja, że taki system umożliwi sparaliżowanym ludziom pisanie i komunikować się efektywnie bez użycia rąk. Startup Neuralink wspierany przez Elona Muska wiadomo, że pracuje nad podobną technologią implantacji mózgu.
„Pomyśl tylko, ile dnia spędzasz przy komputerze lub komunikując się z inną osobą” – powiedział Shenoy. „Przywracanie możliwości interakcji z komputerami i innymi osobami osobom, które utraciły niezależność, jest niezwykle ważne i właśnie to wysuwa takie projekty na pierwszy plan”.
Jak dotąd system został zademonstrowany tylko na jednym pacjencie jako dowód słuszności koncepcji. Opiera się na wcześniejszej pracy zespołu Shenoy, w której uczestnicy, którzy mieli wszczepione czujniki neuronowe, próbowali używać ruchów ramion do poruszania kursorem na ekranie w celu wskazywania i klikania liter oraz przeliterowania słów i zdań. Ta metoda pozwalała ludziom na „wpisywanie” około 40 znaków na minutę, podczas gdy nowa metoda pisma ręcznego osiągnęła prędkość około 90 znaków na minutę, co jest uważane za nowy zestaw danych wprowadzanych przez BCI.
Naukowcy odkryli, że odsetek ten jest mniej więcej taki sam, jak w przypadku osoby w podobnym wieku, co 65-letni uczestnik, który pisze na smartfonie.
System wychwycił litery z mózgu uczestniczącego uczestnika, gdy wyobrażał sobie, że je pisze.
F. Willett i in. / Nature 2021 / Howard Hughes Medical Institute
„Komunikacja ma zasadnicze znaczenie dla tego, jak funkcjonujemy w społeczeństwie” – powiedziała Debara Tucci, dyrektor National Institute on Deafness and Other Communication Disorders, jeden z sponsorów badania. „W dzisiejszym świecie komunikacji internetowej osoby z poważnymi upośledzeniami językowymi i fizycznymi mogą napotkać znaczne bariery komunikacyjne i potencjalnie izolację. Mamy nadzieję, że te wyniki napędzą komercyjny rozwój tej najnowszej technologii BCI”.
Shenoy chciałby, aby pismo odręczne zostało zintegrowane z bardziej złożonym systemem opartym na BCI, który umożliwia również dekodowanie mowy i nawigację typu „wskaż i kliknij”, podobnie jak w przypadku obecnych interfejsów smartfonów.
„Posiadanie tych dwóch lub trzech trybów i przełączanie się między nimi jest czymś, co robimy w naturalny sposób” – powiedział.
Następnie zespół chciałby pracować z uczestnikiem, który nie może mówić lub ma zwyrodnieniowe zaburzenie neurologiczne, takie jak stwardnienie zanikowe boczne, które może ukraść ludzką mowę.
Witold Gombrowicz jest autorem publikującym na portalu humanmag.pl, gdzie porusza tematy związane z aktualnościami, polityką, biznesem, technologią, sportem, rozrywką i stylem życia. Skupia się na przejrzystym przedstawianiu faktów, dostarczaniu użytecznych informacji oraz opisywaniu wydarzeń i historii istotnych dla czytelników w rzetelny i przystępny sposób.