王茜鶯：探索虛實融合的智慧教育新紀元

12月22日，第十三屆本站教育金翼獎在北京隆重舉行。在主題演講環節，聯想集團全球副總裁王茜鶯博士帶來《探索虛實融合的智慧教育新紀元》的精彩分享。

王茜鶯提到：

下爲王茜鶯主題分享內容，經本站教育編輯整理：

謝謝本站教育金翼獎邀請我來這裡，感覺到前面的報告有一種價值觀非常融合的感覺，因爲我們家也在踐行體教融合，小朋友今年上初一，基本上每天要完成三小時高強度的體育訓練。

很多時候談到信息技術在教育領域的應用，很多時候更多強調人工智能冰冷的聲音，怎麼在教育信息化當中，教育的新科技當中加入溫度，是我們關心也希望做的事情。

今天分享的題目是“探索虛實融合的智慧教育新紀元”，教育的核心問題，我們要怎麼培養未來的國民，培養帶領人類不停探索星辰大海的新一代的公民，回看教育的歷史，最早師徒課堂，口耳相傳，學徒制，當人類進入大工業時代，開始有大教育論，怎麼做到規模化的教育，然後就有了現在的課堂教育，班級授課制，讓更多的人更平等的接受到相對比較廉價的教育，使得整個國民素質快速有效率的大幅度提升。等到上世紀90年代，美國的教育學家提出了掌握學習，怎麼用個性化的教育符合每個人的成長軌跡，這個時候會提出很多個性化學習的手段，包括智能互動課堂，每人有自己的信息化設備。

未來的課堂是什麼樣的？未來的教育是什麼樣的？今年5月份，習近平總書記在兩院院士大會時候提到一個話題，以人工智能信息和爲代表的新科技，使現在的人們跟過去有很大的不同，我們會看到大家在空間、時間和認知的範圍上跟之前有大幅度的提高，人類正在邁向人機物三者融合的萬物互聯時代，這背後有一個核心的問題，現在的小孩子，現在的K12教育要教孩子的內容遠遠超出之前，我們小時候所接收到的內容，一方面要有星辰大海，還要有非常微觀的世界，除了要了解周圍的環境，還要學習人工智能，因爲人工智能是一種語言，是未來人類跟機器對話的語言，我們怎麼幫助孩子準備接受未來的挑戰，幫助人類接受未來機器化智能和給我們新時代帶來的挑戰，讓人類更多的掌握智能，而不是掌握人類。

未來的教育是什麼樣的，羅傑斯提出沉浸式學習，讓孩子接觸到在生活中很難接觸到的東西，可能是他需要掌握的知識，我們也在嘗試怎麼把虛實融合帶到現在的課堂，帶到未來的校園中。

教育是爲了完成教育本身的目的，包括日常生活中的場景，但是在這個過程當中，教育通過什麼樣的設備來傳遞，用什麼交互方式完成教育整個閉環，是非常有意思的。

現在很多場景下，我們會看到很多的虛實融合設備，幫助你探索未知的世界，幫助你探索外太空，幫助你探索更多的生物多樣體，我們會看到很多沉浸式的設備支持了很多虛實融合的空間，它不一定是爲教育場景所定製的，跟教育場景定製完成什麼功能。

整個媒體技術的發展趨勢，媒體技術從純物理的介質，首先所有的教育是在物理世界裡完成的，慢慢的從公元前烽火相傳和口信相傳，進入報紙與書籍，上世紀40年代50年代開始有了信息化的程度，60、70年代開始有電子郵件，90年代互聯網的普及，2000年移動互聯網的普及，從物理世界回到信息世界。去年開始以來的疫情，讓大家從物理世界和信息世界的邊界又回到一個面對面的臨界點，在這之上我們會看到，2025年以後，或者2030年以後，我們的媒體世界又會進入一個物理世界和數字世界相融合的場景，我們的教育應該怎麼做？

先看看沉浸式設備，一般有兩類，第一類，可穿戴的，VR頭盔、疊加現實的眼鏡，它是不是真的適合教育場景？因爲教育場景非常強調的是協作、溝通。還有一類虛實融合的設備，大空間、裸眼多人協作設備，但是這一類設備在技術上還存在很大的改進空間，我們到底怎麼來做，怎麼讓它爲未來的教育所用，怎麼讓它幫助我們建立未來的教室、課堂和校園。

先看一下我們最近聯想得的2021《時代》雜誌一百大最佳發明，最佳產品。這個設備能直接和PC或者手機相連，同時展開三個大幅面的場景，代表了可穿戴着AR設備非常前瞻的方向，大空間裸眼多人協作虛實融合的設備，在過去兩年得到了長足的發展。現在業界常見的裸眼沉浸顯示設備，包括金字塔的全息，半空全息幻象，穿越現實和未來的任意門、谷歌做的ProjectStarline。

這些虛實融合設備有沒有機會和教育場景結合，去年疫情，很長一段時間，孩子們只能在家在線學習，在線學習有一個混合課堂的概念，有一些實驗的場景，需要跟物理世界交集的場景很難完全線上完成，有沒有可能通過3D設備把實驗場景帶的到生活當中。給大家看看我們做的場景，Holotable能完成虛擬實驗。這是一個交互式的全息體驗，通過空中手勢可以完成交互，一組學生和老師匯聚在一起，可以大幅空間的共同交互。

第二個設備，疊加自身影像的鏡面交互，你可以通過鏡子學很多體育鍛煉的姿勢，自我進行健身，傳統方法有很多侷限，傳統方法很難做到自然的交互，我們現在這個設計很多時候是利用自身的鏡像，當你擡起手，菜單就在你身邊，跟着你做自適應的提示，是非常舒適輕量的交互，握拳、擡手、展開，手邊可以喚醒菜單，直接滑過，快速選擇。

最近我們還做了未來教室的嘗試，跟另外兩所大學建立了三地實時5D高清未來教室，三地實時聯動，大家相互上課，把遠端課程帶到近端。

給大家分享一下第一代做的創新概念，基於增強現實和交互全息虛實結合互動系統。在這個基礎上，我們發現還有很多改進的空間，我們做了很多技術的升級和迭代，包括交互設計，我們爲了適合教育的場景來討論在現在的課堂，比如普通的黑板、大屏，老師的講課過程中，哪些場景可以應用到虛實融合場景中，我們做了很多探討。

真人的影像是留存的，基於這個我們看到很多關鍵技術和麪臨的挑戰，未來的虛實融合空間，如果要做到大幅面，需要做到非常高的清晰度，遠遠超過1080P，要4K甚至8K，對實時影像生成，包括視頻的拼接都帶來很多挑戰，這裡面一些關鍵技術的突破，包括顯示屏幕硬件的結構，我們在這個基礎上做了3米×5米透明大屏，230寸的大屏，所有的操作都可以看到真人等高，把遠端的教室傳遞到未來教室空間，老師的身高和真實世界的身高一樣，而不是電腦屏幕上一個小小的頭像，老師的身體動作，肢體語言和表情都可以得到更完美的呈現。

還有智能光環境的感知監測和調控，包括低時延邊緣計算和管控，這個時候本地要做很大量視頻處理，本第做的視頻處理怎麼結合網絡帶寬，更好發揮5G和高清的作用，多人多模態交互，老師在屏幕上和虛擬圖像疊加，也可以多人在屏幕前多人在屏幕後，更好做到多人多模態交互。

超高清實時壓縮傳輸，三地同時做5G高清的穿越現實的實時直播非常有挑戰，在這個過程中我們解決了很多技術的問題，包括實時的音視頻傳輸等等問題。在這個基礎上更多探索怎麼跟課堂環境很好的融合，怎麼幫助老師更好的課堂授課，本地老師需不需要一個本地的助手，當他需要的時候能自動的喚出需要的課件，遠端老師可以看到本地學生上課的動態，臉上的表情，是不是真的能夠聽懂，更好捕捉學生上課的過程，完成更好的本地和遠端互動的課堂。

這是我們現在拍的實景，線上線下混合教學，學生端和教師端拼接，右邊是教師端，可以是一個綠幕，也可以對實時視頻拼接，實時視頻和虛擬場景更好的疊加。

這是遠端傳遞過來老師的講解現場。

在這個基礎上，我們完成了第一代和第二代原型之後做了大規模對照用戶實驗，多模態分析，我們會發現孩子和老師在虛實融合的未來教室裡，孩子的參與程度會更高，學習一些相對來講沒有那麼容易掌握的內容會更加容易，課堂活躍度更高，提問更多，師生之間的交互更加頻繁。

前面給大家分享的是我們在虛實融合的設備和交互在未來課堂，未來教育環境下的實踐，也提到了人類正在進入一個人機物三元融合的萬物智能時代，包括人的數字化，互動的數字化，環境的數字化，相信未來很多環境，課堂環境，辦公環境、校園環境會出現更多的虛實融合的場景，我們也非常願意跟在座各位教育界同仁共同探討，怎麼把這些新的技術更好的幫助我們教育提質增效，提升教育的水平。

謝謝！

附嘉賓介紹：

王茜鶯

上海交通大學電子工程專業學士，上海交通大學電子工程和工業管理雙碩士，美國斯坦福大學人機交互專業博士。現任聯想集團副總裁，聯想研究院技術戰略與創新平臺、智慧教育產品研發平臺總經理，負責聯想技術戰略，研究院創新管理和用戶體驗平臺以及智慧教育。

王茜鶯2006年加入聯想。2015年至今，負責聯想技術戰略，研究院創新管理和用戶體驗平臺，爲聯想集團在技術及創新戰略規劃，研發資源高效運用， 用戶體驗研究設計及驗證，知識產權等領域做出突出貢獻。她帶領團隊與其他部門緊密協作，推動聯想Tech World，使聯想的創新技術在業界廣受讚譽。茜鶯獲得過超過80項發明專利，並在國際知名學術期刊和雜誌上發表過20多篇論文。現爲美國計算學會ACM人機交互分會中國副主席。現任聯想集團副總裁，聯想研究院技術戰略與創新平臺及聯想智慧教育產品研發平臺總經理，CCF TF智能設備與交互SIG主席。

2019年5月31日，王茜鶯榮登福布斯“中國科技女性榜” (Women in Tech)50位女性榜單。

2020年12月11日，王茜鶯負責的“交互式智慧課堂關鍵技術及應用”榮獲第十屆吳文俊人工智能科技進步獎“二等獎。

2021年9月，王茜鶯所參與的“多模態環境感知及適配交互技術與應用”項目榮獲2020北京市科學技術獎科技進步二等獎。