Immersal:用技術“校準”AR,以體驗助力AR騰飛

你可能不懂什麼是AR,但一定沒少用過:買傢俱前可以看看“放在家裡”尺寸合不合適,走路可以看到跟着虛擬導航不怕走錯,甚至買罐兒兩塊五的可樂也可以掃一掃看段動畫獲取情緒價值……

AR技術已經在無形中加入了我們的日常——甚至非日常。

在美國家喻戶曉熱門賽事MLB的現場,也出現了AR的身影。觀衆只需要在看臺上拿起手機,就可以以自己真實角度看到AR爲賽場增加的額外信息和動畫,比如球的發射角度、距離、球員信息等等。這讓現場的觀衆不僅能獲得來自比賽本身的刺激,還能在AR中找到更多豐富的娛樂體驗。

相比於具體AR體驗有多好玩,我們更關注的是,這項技術的提供方Immersal,是怎麼把原本居於房間裡、桌面上的AR體驗,如此絲滑地放進“球場”這種巨大空間裡的呢?

Immersal是如何實現大空間、大體量視覺定位的?

我們知道,所謂AR就是結合了現實世界和數字內容的交互式體驗,直白來說就是把數字內容無縫“放在”現實世界中,並且能和現實世界的人、物、環境產生各種各樣的互動。判斷AR體驗好不好的一個關鍵衡量指標就是“數字內容與物理世界結合的精確程度”。

這一指標涉及到大量且複雜的計算,爲了方便開發者,像蘋果、谷歌、華爲都推出了自己的AR開發平臺(ARKit/ARCore/AREngine)。通過它們,開發者可以輕鬆利用手機開發AR應用,像把漂浮的小球準確(且不穿模)的放在桌面上,讓可愛的虛擬寵物在沙發上跑來跑去等等。

但這只是房間級的,也就是它的計算方法只能實現比較小規模的3D虛擬世界重現。那麼如果我想要在紐約時代廣場製造一個更大型的AR效果呢?要只用上面這些開發平臺的SLAM技術是很難完美呈現的。

由於SLAM技術會因爲傳感器累積誤差值、尺度估計值、時間、動態場景變化等各種問題發生漂移。比如我先前放在桌上的虛擬模型,回來再看就發生了位置變化。這在大型場景上問題就會很明顯。

這時候,我們就引入了新的技術:視覺定位技術(Visual Positioning System),這也正是Immersal擅長的。

在下圖中,我們可以看到,利用Immersal提供的手機APP,我們實際上已經擁有了這一物理環境的視覺特徵信息(圖上那些密密麻麻的點),基於這些視覺特徵信息,Immersal可以構建出該場景的“空間地圖(spatial map)”。它的適用場景也不再拘泥於桌面級或者房間級的小型空間,而是可以實現小到樓宇級、大到體育場,甚至像城市這樣超大規模的空間也可以實現。

也就是說,結合Immersal的VPS技術所提供的空間信息,可以達到對SLAM出現漂移問題的修正,從而擴大AR效果能夠存在的空間,讓用戶在更廣闊的空間中也可以獲得較爲優質的AR體驗。同時,Immersal也提供SDK給開發者,供他們開發所需要的APP。

當然,市面上類似的技術也不只有Immersal,那麼它有哪些不可替代的優勢呢?

其一,Immersal支持專業、高精度、多樣化的建圖方式。Immersal針對空間類型的不同,可支持使用不同的採集設備和方法,以保證生成的空間地圖的質量。他們包括使用手機,平板電腦,全景相機,工業級的徠卡BLK2GO激光掃描儀,徠卡BLK2ARC機器狗,徠卡BLK2FLY無人機等。

假如需要採集的場地很大,也可以使用全景相機或者專業的徠卡激光掃描儀進行採集:

其二,廣泛的客戶端支持。用戶可以使用市面上大多數主流設備進行AR體驗,它包括所有的蘋果手機及平板,所有支持ARCore的安卓手機及平板,支持華爲AR Engine的設備,以及Magic Leap, HoloLens, XReal等我們熟知的AR眼鏡。並且Immersal在持續地適配新上市的AR眼鏡。

在下圖中能清楚看到,在寬闊的室外街道上,面對同一個虛擬物體(圖中綠色框選中的位置),支持XREAL Light和華爲P30 Pro同時觀看,並且擁有各自位置應該有的角度。

其三,開放的生態。或許源自芬蘭的黑客精神,Immersal爲開發者提供專業的工具箱,而不是試圖把服務封裝成一個封閉的黑盒。所以Immersal技術顯得更加開放,比如‘空間地圖’採用的是開放的數據格式,用戶可自行對其進行編輯和優化。

同樣地,在用戶端,Immersal還同時支持本地定位和雲端定位。相比於本地定位,雲端定位是昂貴的,因爲它有服務器開銷,且依賴於網絡條件。對於景區,體育賽事,演唱會這樣的場景,要支撐大規模用戶併發,對於客戶來說,成本會急劇上升。

相比於一般的VPS服務商強迫用戶進行雲端定位的商業化操作,Immersal更加開放。開發者可以完全在設備端完成本地定位計算,從而輕鬆實現大規模卻低成本的AR體驗。

在採訪中,Immersal的開發團隊向87870表示,他們一直秉承一個重要的觀念“Do Not Monetise Map Data(拒絕地圖數據貨幣化)”,也就是說,提供工具的他們並非數據的所有者,真正擁有數據的是使用它的開發者。

其四,靈活的部署方式。Immersal支持用戶使用公有云服務或者進行私有化部署。對於一般的開發者可以直接使用Immersal在中國國內的公共服務器,立刻開展業務。對於專業的AR開發商,Immersal也可以把VPS技術部署到客戶私有的服務器,以實現信息安全。而且在這種方式下,客戶可以更方便地與自由的軟件平臺,比如內容編輯平臺進行無縫集成,從而打造出自有的VPS平臺。

此前,在日本知名搖滾樂隊 UVERworld(曾爲《驅魔少年》《銀魂》《高達00》《BLEACH》等多部動漫作品獻唱)橫濱演唱會現場,提供了一系列AR效果和服務。通過現場觀衆分享的視頻和照片,我們能看到,在場館最中間天空上有巨大的數字虛擬雕像,觀衆在自己的座位上掃碼可以打開併發送彈幕,也能看到從四面八方飄來其他同好的彈幕內容:

甚至有現場觀衆在B站給出反饋:

不僅實現了在大空間的多人實時AR效果,而且還能在任意看臺實現精準定位。基於這樣的技術,Immersal還發展出了體育賽事數據的可視化:

從圖中我們可以看到,觀衆通過手機APP,可以非常直觀地看到球的整個運動軌跡以及相關的其他信息,輔助觀衆更好地瞭解賽場情況,帶來極佳的觀賽體驗。類似的項目還有賽馬、足球等。

總結來說,一般用戶常接觸到的,由手機提供的AR內容在環境和空間上有一定的侷限性,比如不能在巨大空間中實現、會漂移等等,而Immersal提供的算法和技術,很大程度上補足了這一缺點,讓巨大空間、超多用戶也成爲了AR的目標場景之一。

同時,基於市場技術,Immersal還提供給客戶更強的兼容性、自由部署、自由編輯等能力,成功將AR的應用範圍擴大。Immersal CEO Matias Koski在採訪中也向87870表示,基於Immersal提供的服務,視覺定位技術擁有了更具有廣泛的用例,也讓它成爲一種多功能技術,甚至可以實現城市級別的空間構建,也就是可以掃描整座城市,實現任意地點的定位。

在普遍意義上來講,Immersal的技術一些比較典型的應用場景包括導航、文旅、遊戲、廣告零售、教育培訓、建築設計、維護維修等。

Immersal:從創業到被收購

平心而論,在國外AR開發者圈子還處於比較早期的狀態中,很多展示作品雖然充滿着新奇的想法,但往往沒有考慮最終落地的體驗。所以在最早看到像Immersal這樣比較成熟的商業落地項目時,我們還是感到意外的,同時也很好奇是什麼樣的團隊打造出這樣的體驗。

如果只是利用搜索引擎,你可以得到非常基礎的信息,Immersal成立於2015年,總部位於芬蘭首都赫爾辛基,16-17年間經歷過3次融資,公佈金額約300萬歐元,隨後被世界頭部測量技術和信息技術提供商海克斯康收購。

其團隊包括多名連續創業者,從業經歷囊括了很多我們知道的電子、信息、科技、製造行業的大拿:諾基亞、微軟、Atos、Airbus等等。在技術方面,更是有超過20+年“碼農”經驗的舵手領航。

Immersal的CTO Panu Liukkonen就是這名舵手。他畢業於芬蘭赫爾辛基大學,此前曾長久在遊戲公司Bugbear從事遊戲研發工作。像Bugbear推出的《山脊賽車:無限》及其地圖編輯器,就有Panu的功勞。所以無論是對“地圖”這一概念在虛擬世界的作用,以及各種地圖的從無到有,他都有非常豐富的經驗。

Panu Liukkonen的個人主頁體現着非常北歐的一面——社恐到高冷,他幾乎只關注公司的內容和技術相關的信息,且從不發表意見。我們甚至認爲,在Immersal技術中極高的精確性和穩定性跟他的風格也不無關係。

同樣的,Immersal的首席體驗官Teemu Berglund也有着極其豐富的從業經歷。他從2010年開始就專注於3D圖形和創意方面的工作,十幾年來是如此。在他的X中你也不難看出,他更關注在3D圖形表現和交互體驗方面的內容。

除此之外,他們團隊中還包括服務Atos的職業顧問、參與過Open AR Cloud發起於創立的連續創業者等等,正是這樣各司其職又恰如其分的緊密結合,讓Immersal擁有了他們滿意的技術產品,也讓他們遇到了自己的伯樂。

2021年,Immersal成立6年之際,被Hexagon海克斯康收購。海克斯康是全球傳感器、軟件和數字信息技術解決方案的領導者,致力於充分發揮數據的潛力,提升工業、裝備製造業、基礎設施、安全和移動出行等領域的效率、生產力和質量。其憑藉出色的技術成爲全球各個產業數字化升級的重要幫手。

對於收購Immersal,海克斯康總裁兼首席執行官Ola Rollén 表示:“長期以來,海克斯康一直是提供智能數字服務的領導者,它將現實捕捉傳感器的輸入與先進的可視化軟件和工具相結合,以實現遠程、基於位置的智能。此次收購正式把科技的力量交給一線工人受衆,通過疊加的數字信息增強了他們的視野,這意味着他們實際上可以利用所看到的內容做更多事情。”

Ola Rollén直接說明了海克斯康收購Immersal的理由正是看中了其在視覺定位技術上的能力以及AR應用場景的強大潛力。

聚焦文旅,助力國內大型AR體驗騰飛

對於很多連續創業者來說,被收購就意味着一段旅程的結束,但對Immersal來說,這才迎來真正的開始。

以往集中於海外市場的Immersal,在亞太地區的其他國家已經積累了非常多的市場案例和經驗,如前文提到過日本橫濱的大型演唱會項目,還有日本噴水池商業廣場、東京商業廣場等戶外大型AR項目等。2023年8月,Immersal還在AWE Asia 2023中獲得了最佳展示獎,也意味着他們爭取到了專業人士的極高認可。

這些成功的案例,讓Immeral看到亞洲的潛力,同時,也看到中國潛在的巨大市場能量。2023年,Immersal把目光轉向了中國市場,據瞭解,他們還專爲中國市場搭建了服務器服務中國開發者。除了在前文中提到的XREAL,Immersal目前在一些主題公園也有了已經落地的項目。

Immersal方面向87870表示,文旅項目是AR技術落地非常好的切口。一方面,AR技術能夠用大衆更易接受的形式,讓文旅內容“活”起來,賦能新社交、新旅行;另一方面,大型的旅遊景區恰好是Immersal視覺定位技術的優勢,同時也是市場缺失的部分。

除此之外,基於美國、日本等多個國家成功落地的大型體育館賽事、演唱會項目成功經驗,Immersal也計劃將它帶入中國,積極探索中國泛娛樂場景的AR豐富體驗。

Immersal CEO Matias Koski說:“對於未來中國市場的發展計劃,我們希望能有更多的開發者和客戶用到Immersal的工具和服務,同時落地更多AR項目,幫助中國AR/XR生態的發展。”