實驗者進行腦機上肢康復設備演示 本報記者 陶磊 攝

實驗者進行鏡像手康復設備演示

走進華東理工大學信息大樓4樓的一間實驗室，一次“腦機接口”的實驗開始了：只見實驗者頭戴裝滿感應器的頭套，打開電腦，屏幕上一塊塊方格不斷閃爍。他不動手指，心念所及，方格便停頓下來，顯現他所想的事情。于是，只通過眼睛注視，他就能開空調、調溫度，甚至操縱無人機飛行……這既不是魔術表演，也不是科幻情節，而是華理金晶教授領銜的腦機接口及控制團隊正在開展的一項應用創新——“全流程自適應生成式腦機接口系統”。

記者請實驗者在電腦里展現《新民晚報》的信息。他微微一笑，手指沒有觸動電腦，仍是依靠“心中一動”，“新民晚報”4個字便躍然于屏幕之上。

這個實驗室名為“能源化工過程智能制造教育部重點實驗室”，其下屬腦機接口及控制團隊聚焦于新一代神經工程學基礎理論與關鍵技術，重點面向醫療康復、人機工程等重大領域的工程技術攻關，圍繞腦信息處理、智能康復機器人、外骨骼系統等方面，以探索新范式、新方法、新技術為著手點，在腦機接口系統的誘發范式、識別模型及其臨床應用方面開展了一系列研究工作。這項實驗是華理腦機接口及控制團隊攜手百度文心打造的升級版腦機系統。

何為腦機接口？

說起腦機接口技術，由于硅谷“鋼鐵俠”馬斯克的親自下場，大家可能對此不太陌生，但就該領域的發展而言，我們仍像看科幻電影一樣，感覺有些難以置信。

那么，什么是腦機接口？金晶解讀道，簡單地說，腦機接口就是在大腦和外部設備之間建立的直接連接通路。我們的大腦在活動時會產生很多信號，這些信號就是讓我們行動的指令，通過腦電帽捕捉到信號后，就可以把它們解碼轉化成計算機能夠識別的指令，繼而去操縱外部設備，例如義肢、輪椅、語音合成器等。試想一下，在這項技術的支持下，即使是癱瘓人士，也能“隔空”操作電腦甚至開車。

正因如此，腦機接口技術成為公認的新一代人機交互和人機混合智能的關鍵核心技術，被譽為人腦和外界溝通交流的“信息高速公路”，其發展將給醫療、養老、康復和人機交互等領域帶來革命性改變。

如何突破瓶頸？

但是，這些不可能一蹴而就。

以現有的腦機接口系統為例，雖然其指令數量可達幾十個甚至上百個，但面對真實而復雜的應用時，仍顯得“腦容量”不夠，要將復雜場景一一“拆解”，進行定制化的控制交互系統設計，而不能像萬能鑰匙一樣，實現腦機接口系統與實際應用場景的自適應匹配，這就大大限制了它的靈活性和實用性。

為此，金晶帶領的腦機接口及控制團隊提出了腦機語言輸出系統與大語言模型結合的新技術思路，以生成式人工智能技術實現基于用戶意圖的多語言、多場景腦機接口系統自主構建。團隊研發的“全流程自適應生成式腦機接口系統”引入了語言大模型，突破了瓶頸，使腦機接口系統不再受限于指令數量，而是能夠靈活匹配各類應用場景，幫助用戶真正做到“心想事成”。

“用戶能夠通過腦機語言交互系統表達自己的控制意圖，文心大模型則會對用戶的意圖進行理解并實現應用對象匹配，最終完成面向目標場景的系統自適應生成。”金晶說。

具體來說，這個系統的工作過程主要包括：在腦機接口系統中植入大語言模型后，用戶可以通過目光的注視（心中一動）使用腦機語言交互模塊來輸入需求，然后系統將需求信息發送到文心大模型Ernie Bot SDK，大模型會對用戶的需求進行語義理解，據此獲取相關設備信息，再通過被控對象的接口匹配，生成適應不同場景的控制界面，來操作智能家居、無人機等目標設備。

怎樣繼續優化？

值得一提的是，這個全流程自適應生成式腦機接口系統不僅具有智能化、個性化、動態生成的特性，還能實現多語言、多場景的靈活匹配控制和交互，實現人腦智能和機器智能的深度融合，做到“腦控聯萬物”。

“雖然有理由期待，有一天人腦和機器的互動會像用手機一樣平常，但通往這個目標的道路上還有很多難題。下一步，我們的系統將基于用戶的使用數據和偏好，進一步優化腦機交互范式，提供更符合用戶習慣的操作模式。”金晶表示。

百度合作方負責人進一步指出：“這一系統框架的提出，將為腦機接口技術開辟更多潛在應用，推動其在醫療、智能制造等多個領域的創新與發展。”

視頻鏈接：https://v.xinmin.cn/uploads/videos/2024/12/05/AWYO604653.mp4?

原文來源: 新民晚報  |  發表時間:2024-12-05  | 作者：張炯強