現狀分析:
如何構建一體化智能人機交互系統,方便開展模式識別和機器學習等課程,增強實驗課程的趣味性和實用性,是人機交互平臺的難點。
設計思想:
關鍵技術:
中國科學院沈陽自動化研究所(以下簡稱沈自所)成立于1958年,長期從事機器人、智能制造和光電信息技術相關的研究。作為中國機器人事業的搖籃,在中國機器人事業發展歷史上創造了二十多個第一,引領中國機器人技術的研究發展,解決了國家制造業發展一系列重大關鍵技術問題。
肌電交互系統的關鍵問題是意圖解碼的準確性和穩定性。沈自所研發的智能肌電交互系統,基于python語言實現UI交互界面、信號采集和處理、機器人控制的一體化平臺構建,方便使用機器學習方法進行二次開發,為模式識別、信號處理等課程的相關實驗奠定了良好的基礎。為了加速計算機和人工智能等相關專業的基礎理論和實際應用的方面人才的培養提供助力。
產品特點
PRODUCT FEATURES
肌電交互系統以肌電假手、二至七自由度機械臂、外骨骼以及智能假肢等機器人為被控對象,并配備簡潔的人機交互界面。采用模塊化設計理念,具有理實一體、操作簡單、趣味性強、易于擴展等特點,極大的提高師生的參與程度,為實驗室建設提供多用途、層次豐富、省空間、安全易用、易于擴展的肌電交互系統。
平臺以手勢識別與交互為目的,主要流程包括信號產生、信號采集、信號預處理、特征提取和模式識別,離線訓練的模型用于在線的控制決策上,實現對機器人的控制,從實踐中一步一步加深對肌電識別原理的理解。以交互平臺為擴展,支持機械臂、肌電假手、外骨骼、智能假肢等多樣化機器人控制。以項目開發為驅動,強化肌電交互系統的實踐性、實用性和通用性。結合學生興趣愛好,選擇合適的交互被控對象,開發肌電交互小游戲,使學生達到理論聯系實際、活學活用的培養目標。
平臺配備有簡潔的人機交互界面,肌電信號采集、預處理、離線訓練、在線識別通過點擊界面對應按鈕即能實現。肌電采集時會顯示動作教學圖片,指導使用者做出相應的動作,并且界面還具備顯示肌電信號的功能,供使用者直觀感受肌電采集過程。
為了增加同學們的學習興趣,肌電交互平臺配備了肌電控制抓取以及剪刀石頭布等互動游戲。其中肌電控制抓取指通過自身肌電信號控制一個六自由度機械臂和肌電假手對物品進行抓取與擺放,與工業生產中設定軌跡不同的是,此處的抓取與擺放過程完全由自身控制,使同學們時時刻刻都能感受到操控的樂趣。石頭剪刀布游戲是通過肌電交互系統模仿現實生活中的游戲場景,同學可以通過石頭剪刀布和肌電假手進行實時的互動,增強同學通過肌電交互的體驗。
在肌電交互系統中,被控對象可以是各式各樣的機器人。目前我們支持二到七自由度的全球主流機械臂(包括ABB、KUKA、UR、Fanuc、愛普生、Yaskawa、大象等等)或自主研發的機械臂、肌電假手、智能假肢、外骨骼等等,可按需進行選擇。以及支持在各系統操作,比如Windows、Linux、Mac等。并支持肌電融合視覺、觸覺進行交互式開發。
實驗內容
PRODUCT FEATURES
模式識別
基礎實驗:
高級實驗:
sEMG信號處理:
通過識別肌電信號,操控假手以及機械臂配合來達到抓取以及擺放物品的目的.如下圖14:
通過肌電交互系統模仿現實生活中的游戲場景,開發一些互動小游戲,比如石頭剪刀布等
比如通過患者的肌電信號控制智能假肢運動,來達到患者操控假肢的目的,具體原理如下圖所示