騰訊會議發佈騰訊天籟inside3.0:用AI重構音視頻,爲大模型落地“開路”

(原標題:騰訊會議發佈騰訊天籟inside3.0:用AI重構音視頻,爲大模型落地“開路”)

AI時代,會議室的良好拾音和區分說話人技術,是實現語音轉文字、字幕翻譯和智能紀要等能力的前提。

4月17日,騰訊會議天籟實驗室發佈騰訊天籟inside3.0升級,在騰訊AI Lab多項技術加持下,推出16mic多模態人像分割解決方案,具備智能音幕功能,能夠精準區分和定位會議室裡的發言人,並升級了去混響效果。

同時,在本屆InfoComm展會現場,MAXHUB、羅技、耳目達、poly、維海德、億聯網絡等多家硬件廠商均推出了與騰訊會議合作的新一代場景方案和產品能力。通過領先的音視頻與AI技術,騰訊會議正在持續助力廠商提升會議硬件的表現,提供聽覺、視覺、內容上更加沉浸專注的會議體驗。

發佈騰訊天籟inside3.0,升級多項新能力

對線上參會人來說,線下會議室裡多人並坐、僅有一個小窗口畫面,想要準確分辨出是誰在說話,難度很大。

騰訊天籟inside3.0方案,涵蓋AI+16陣列麥拾音矩陣+音視頻多模態識別算法。具備智能音幕功能,能夠精準區分和定位會議室裡的發言人,並升級了去混響效果。

智能音幕能力,相當於在會議室裡建立起虛擬音頻屏障,讓線上發言人只聽到特定區域的聲音,減少區域外的人聲和噪聲干擾。據介紹,智能音幕支持實時調整方向。

通過音視頻多模態AI算法,騰訊天籟inside3.0還支持精準區分、定位發言人。基於這項能力並結合騰訊會議Rooms的多流技術打造的硬件,可以爲每位發言人提供單獨的視頻畫面,更接近在同一個會議室開會的體驗,提升溝通的臨場感。

天籟inside3.0還提升了去混響表現,並基於天籟16麥音頻方案優化了降噪模型。實測顯示,在多種會議室噪聲的干擾下,無論發言人距離屏幕遠近,線上都能清晰聽到聲音。

騰訊會議與MAXHUB聯合發佈了集成騰訊天籟inside3.0方案的兩款產品。據介紹,騰訊天籟inside開放了底層座標給合作廠商,廠商可自行定製發言人的畫幅比例、多人對話時的切換速度、切換邏輯等,進行二次開發。

目前,天籟inside音頻解決方案已覆蓋一體機大屏、擴展麥、天花麥等產品,應用在MAXHUB、Newline、海信商顯、耳目達、TCL、維海德、開得聯、皓麗、大華以及華創等多家知名廠商的會議室硬件中。

生態夥伴超300家,與廠商聯合推出多款硬件

本屆InfoComm現場,多家參展廠商均在醒目位置展示了與騰訊會議合作的硬件解決方案。

例如,MAXHUB展示的騰訊會議Rooms21:9超寬屏沉浸式劇場佈局,以及羅技展示的騰訊會議Rooms會議室三屏異顯方案,能讓參會者在不同屏幕中獲取更多信息。其中,MAXHUB 視訊智真款 V7 21:9超寬屏在顯示16:9屏幕共享內容的同時,左側面板可展示文字聊天內容,右側展示實時語音轉寫和翻譯內容。

與poly聯合展示的騰訊會議Rooms分體式+MRA方案,則爲企業傳統的會議終端擴展出更多新能力。在保護企業硬件資產投資的同時,讓參會者更聚焦內容討論。

在教育場景,騰訊會議與耳目達、維海德共同打造的AI培訓教室方案,通過實時音視頻能力與設備,支持跨校區、跨校際、跨國家教學交流,助力師生之間的高效互動交流更聚焦課程內容本身,課堂筆記交給智能紀要,讓思考更沉浸。

在應急指揮場景,基於騰訊會議Rooms的多流能力,億聯推出的Meeting Board 65大屏,可以幫助指揮大廳看清遠程指揮中心每個人的工作狀態,有效提升工作溝通效率。

目前,騰訊會議的合作伙伴數量已超過300家,涵蓋銷售生態、硬件生態、天籟生態、ISV等多種場景,並涵蓋多種場景解決方案。

騰訊會議於2019年11月上線,至今已穩定服務超25億次協同,支撐了海量的辦公、教學場景,助力各行業的辦公人羣實現日常辦公、遠程問診、金融路演、互動營銷等場景線上化,並推動線上教學、智慧教室成爲教育行業的常見配置。在騰訊會議的助力下,大量企業實現提質增效。例如,助力騰訊公司自身一年節省成本5.7億元。

IDC報告顯示,騰訊會議位列中國雲視頻會議行業企業級市場第一。目前,騰訊會議已經廣泛服務金融、互聯網、教育、醫藥、工業製造等行業,包括中國人民銀行、清華大學、國家電網、中國交建、中國銀行、美的、衛龍、國泰君安證券、北京朝陽醫院等衆多企事業單位,在多個行業的頭部客戶滲透率超過50%。