重磅！想擁有「分身術」嗎？300公里外身臨其境那種

即使遠在 300 公里外，人類也能身臨其境，傳遞觸感、還原表情，參加藝術展、完成競技。

這一突破性實現，由一個名爲 iCub3 的機器人完成，它爲人機交互帶來了全面的沉浸式體驗和無限的可能。

在過去四年中，意大利理工學院人工智能和機械智能實驗室的研究團隊開發出了先進的 Avatar 技術，構建了 iCub3 機器人系統，並不斷對其優化。

如今，通過在遠程操作中使用虛擬現實頭盔、觸覺手套以及身體感應器，iCub3 實現了卓越的動作控制、觸覺反饋和表情還原。

在 ANA Avatar XPrize 競賽期間，iCub3 成功地爲遠程操作員提供了觸覺反饋，傳達了岩石的紋理、浮雕花瓶等，同時也能反映人類操作員的面部表情，包括微笑和眼睛的形態（例如，在明亮的舞臺燈光下眯起眼睛）。另外，在比賽中，iCub3 展示了其行走和操縱物體的能力，並與人類一起完成了一個拼圖。

研究團隊表示，iCub3 是“唯一一個在決賽階段使用雙足運動和一套輕便的操作設備（包括商用和定製的可穿戴設備）完成任務的系統”。

這一里程碑式的研究成果以“iCub3 Avatar System: Enabling Remote Fully-Immersive Embodiment of Humanoid Robots”爲題，今天發表在權威科學期刊 Science Robotics 上。

研究團隊表示，iCub3 機器人爲未來發展出更安全、更可靠的遙控機器人系統奠定了基礎，爲災害響應（在較少危險的情況下支持救災工作）、探索危險環境和拓展遠程體驗（物理世界中偏遠和不易到達的地方）提供了新的可能。

據論文描述，iCub3 的突破性在於其實現了全感官沉浸式體驗，通過虛擬現實、觸覺手套和身體感應器的巧妙融合，遠程操控者能夠在 300 公里外的地方獲得身臨其境的體驗，傳遞操控者的觸感，還原其面部表情。

相較於其他研究，該系統採用深度學習技術，進行多模態信息的智能處理，實現了高效的用戶意圖識別和機器人動作轉化，使遠程操控更爲靈活、精準。

這一突破性特點使得 iCub3 在機器人技術領域獨具優勢。

首先，iCub3 實現了真實環境中的遠程操控。通過多種感官的同步反饋，用戶能夠獲得更加豐富和真實的體驗。

其次，深度學習使得系統具備了自適應性和智能性。這可以更好地理解和響應用戶的意圖，提高了操控的精準度和靈活性。

此外，相較於其他類似研究，iCub3 成功應用於實際場景，包括藝術展覽、舞臺表演和國際競賽，展現出在複雜環境中的卓越適應性和穩定性。這使得它在未來遠程操控機器人技術的發展中具備了不可替代的地位。

2004 年，研究團隊啓動了對機器人智能的研究，設計並推出了第一代 iCub。初代 iCub 是一個模擬嬰兒認知和學習過程的機器人，其功能較爲有限，主要以執行特定任務爲主。經過多年的研究和技術創新，研究團隊於最近推出了 iCub 系列的最新一代——iCub3。

iCub3 在技術層面進行了全面的升級。其中包括電池容量的顯著提升，電池位置的優化至軀幹部位，以及腿部電機性能的提升，使機器人在行走和運動方面更爲靈活和穩定。深度感應攝像頭的引入進一步增強了 iCub3 對周圍環境的感知能力。

特別引人注目的是，iCub3 被打造成了一個機器化身平臺，即 Avatar System。通過 iFeel 設備套件，操作者能夠實時同步體現其身體動作，使得 iCub3 能夠通過光纖傳輸遠程模仿操作者的動作，包括身體和麪部的各種表情。

具體而言，操控者通過佩戴虛擬現實頭盔，觸覺手套以及身體感應器，將其身體運動、手部動作和麪部表情實時傳輸至 iCub3 機器人。

虛擬現實技術爲操控者提供了 360 度的環境視角，觸覺手套通過傳感器捕捉手部動作和觸覺感知，而身體感應器則跟蹤操控者的整體運動。

這些信息經過深度學習模型的智能處理，實現了從操控者到機器人的動作映射，使得機器人能夠高度還原操控者的動作、觸感和麪部表情。

爲了驗證 iCub3 在真實場景中的性能，研究團隊進行了一系列實驗。

2021 年 11 月，在 Biennale di Venezia 藝術展中，iCub3 首次登臺亮相。操控者遠程操控 iCub3 機器人蔘觀展覽，實現了穩定的遠程通信，以及機器人在複雜環境中的移動。通過佩戴 iFeel 感應服，操控者精準地控制機器人的各個部位，同時定製的觸覺設備讓操控者能夠感受到遠程擁抱的觸感。實驗結果表明，通過標準光纖互聯網連接，通信延遲僅約爲 100 毫秒。

圖｜面部表情重定向和 iFeel 行走。A. 操作員可以直接控制機器人；B. 所顯示的情緒；C. iFeel 鞋，它們測量操作員與地面交換的力和扭矩，當鞋子與一組追蹤器配對時，還可以檢測它們的位置；D. 用於運動界面的意圖機制的示例。

2022 年 6 月，在 We Make Future Show 數字創新節上，操控者成功控制機器人在舞臺上接收和運輸物品，同時在電磁干擾較大的環境中表現出色。專門設計的觸覺設備讓操控者感知機器人所承載物品的重量，機器人也通過更豐富的表達方式與觀衆進行互動。

圖｜在We Make Future Show 數字創新節上，iCub3與接收者交互。

2022 年 11 月，在 ANA Avatar XPrize 競賽中，機器人完成了負重任務和限時任務，表現出色。機器人的手部配備了感應皮膚，能夠感知所操控物體的質地。整個競賽過程中，操控者通過行走模擬來控制機器人的移動，機器人表現出高效的直觀操控。

圖｜iCub3 在 XPrize 上的表現。A. iCub3 正在操縱一塊拼圖；B. iCub3 檢查花瓶的紋理。

這些實驗結果表明，iCub3 在不同場景下都能夠展現出卓越的適應性和穩定性，成功實現了遠程操控機器人的全感官體驗。

iCub3 系統的研究意義不僅在於推動了遙控技術的發展，更在於將機器人技術從實驗室推向真實場景。系統的侷限性主要體現在遠程傳輸的時延和特定環境下的電磁干擾。然而，這些侷限性並沒有減弱其在藝術、娛樂和應急響應等領域的廣泛應用前景。

儘管 iCub3 取得了顯著的突破，但在其實現遠程操控全感官體驗的過程中，仍有一些方面有待突破：

首先，操控 iCub3 機器人系統需要操控者經過詳盡的培訓，以掌握複雜的遠程操控技能。這對用戶的專業背景和學習能力提出了一定要求，限制了該技術的普及。

其次，即便通過標準光纖互聯網連接，系統在遠程通信中仍存在約 100 毫秒的延遲。在某些實時性要求較高的應用場景中，這一延遲可能影響用戶的操作體驗。

同時，該系統的全感官體驗依賴於先進的虛擬現實頭盔、觸覺手套和身體感應器等設備。這些設備的依賴性可能使系統在某些環境中難以靈活應用，特別是在一些特殊任務或緊急情況下。

此外，運行 iCub3 需要大量的能源供應，尤其是在遠距離場景中。這對於遠程操控機器人的長時間運行提出了一定的能源挑戰。

最後，儘管 iCub3 成功還原了操控者的動作和表情，但在某些情境下，與真實人類的面對面互動體驗仍有待進一步提升，特別是在複雜的社交場景中。

除了 iCub3 的突破性進展，在遙控機器人和全感官體驗領域，近期也涌現了一系列引人矚目的研究成果。

例如，在醫療領域，中佛羅里達大學 Sakura Sikander 團隊成功開發出一系列遠程醫療機器人，能夠在醫生遠程操控下執行手術和檢查任務。這種技術爲醫療資源的合理分配提供了新的可能性。

隨着 iCub3 的成功推出，未來的研究方向將更加註重提高系統的實時性和穩定性，以滿足更爲複雜和嚴苛的應用場景。同時，對於人機協同工作的深入研究，以及在醫療、教育、娛樂等領域的廣泛應用也將是未來研究的重要方向。

iCub3 的成功經驗爲後續機器人系統的研發提供了有益的啓示，將推動機器人技術在社會生活中的更廣泛應用。