生物科學門戶網站
www.crxpr.com

湖南幸运赛车:工程師將腦信號直接轉換為語音

湖南幸运赛车 www.crxpr.com 在科學上,哥倫比亞的神經工程人員創建了一個系統,將思想轉換為可理解的,可識別的語音。通過監視某人的大腦活動,該技術可以以前所未有的清晰度重建一個人聽到的單詞。利用語音合成器和人工智能的力量的這一突破,可能會導致計算機與大腦直接通信的新方式。它還為幫助無法說話的人(例如患有肌萎縮性側索硬化癥(ALS)或中風后康復的人)恢復與外界交流的能力奠定了基礎。

這些發現今天發表在《科學報告》上。

該論文的資深作者,首席研究員尼瑪·梅斯加拉尼(Nima Mesgarani)博士說:“我們的聲音有助于將我們與我們的朋友,家人和周圍的世界聯系起來,這就是為什么由于受傷或疾病而失去自己的聲音的能力如此具有破壞性的原因。”在哥倫比亞大學的Mortimer B. Zuckerman心理大腦行為研究所。“通過今天的研究,我們有一種恢復這種力量的潛在方法。我們已經證明,使用正確的技術,任何聽眾都可以對這些人的思想進行解碼和理解。”

數十年的研究表明,當人們講話甚至幻想講話時,大腦中就會出現活動的講述模式。當我們聽某人說話或想象聽時,也會出現不同(但可識別)的信號模式。試圖記錄和解碼這些模式的專家們看到了一個未來,即思想不必隱藏在大腦內部,而是可以隨意翻譯成口頭講話。

但事實證明,完成這一壯舉具有挑戰性。Mesgarani博士和其他人早期對腦信號進行解碼的努力集中在分析頻譜圖的簡單計算機模型上,頻譜圖是聲頻的視覺表示。

但是由于這種方法無法產生任何類似于語音的語音,因此Mesgarani博士的團隊轉向了聲碼器,這是一種計算機算法,可以在對講話人的錄音進行訓練后合成語音。

Mesgarani博士說:“這與Amazon Echo和Apple Siri用來對我們的問題進行口頭答復的技術相同。” Mesgarani博士也是哥倫比亞富基金會工程與應用科學學院電氣工程副教授。

為了教聲碼器解釋大腦的活動,Mesgarani博士與Northwell Health Physician Partners神經科學研究所的神經外科醫師Ashesh Dinesh Mehta博士合作,他是今天論文的合著者。Mehta博士為癲癇患者提供治療,其中一些患者必須接受定期手術。

Mesgarani博士說:“與Mehta博士合作,我們讓已經接受腦外科手術的癲癇患者聽不同人所說的句子,同時我們測量了大腦活動的方式。”“這些神經模式訓練了聲碼器。”

接下來,研究人員要求那些同樣的病人聽說話者背誦0到9之間的數字,同時記錄可以通過聲碼器運行的大腦信號。由聲碼器響應這些信號而產生的聲音,通過神經網絡進行了分析和清理,神經網絡是一種模擬生物大腦中神經元結構的人工智能。

最終的結果是朗讀一系列數字的機器人聲音。為了測試錄音的準確性,Mesgarani博士及其團隊要求個人聆聽錄音并報告所聽到的內容。

Mesgarani博士說:“我們發現人們可以在大約75%的時間內理解并重復聲音,這遠遠超出了以往的任何嘗試。”當將新錄音與早期基于頻譜圖的嘗試進行比較時,清晰度的提高尤其明顯。“靈敏的聲碼器和強大的神經網絡以驚人的準確性代表了患者最初聽的聲音。”

Mesgarani博士和他的團隊計劃下一步測試更復雜的單詞和句子,他們希望對一個人講話或想象中講話時發出的腦信號進行相同的測試。最終,他們希望他們的系統可以成為植入物的一部分,類似于某些癲癇患者所佩戴的植入物,從而將佩戴者的思想直接轉化為文字。

鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播更多信息之目的,如作者信息標記有誤,請第一時間聯系我們修改或刪除,多謝。

{ganrao}