火山引擎揭秘：抖音上最火的特效玩法是這樣做出來的

隨着人們文化娛樂消費的逐年增加,泛娛樂社交行業也迎來了爆發式增長。同時,雲計算、人工智能、5G、物聯網等新一代信息通信技術的快速發展,以及硬件技術的變革,都爲泛娛樂產業帶來廣闊的發展機會。在新一輪娛樂社交賽道的角逐中,成功的機遇藏在哪裡?

近日,在本站智企主辦的MCtalk泛娛樂科技峰會上,火山引擎AI組計算機視覺方向負責人範青發表了主題爲《AI智能互動美化特效促進內容生產與創新》的演講,分享了字節跳動多年來在“特效引擎+CV算法”與互動娛樂場景的結合與落地經驗,以及智能互動美化特效作爲增長工具服務企業的技術能力。

以下爲範青演講全文:

大家好,我是來自字節跳動火山引擎AI組計算機視覺方向的範青。今天是一個泛娛樂峰會,我想先跟大家分享一下在娛樂方向上我們所做的工作。

首先我想介紹一下我們的火山引擎AI計算機視覺團隊,我們是面向企業的智能技術團隊,可以通過火山引擎把字節多年沉澱的有經驗的組件提供給企業的開發者們,6月10日有一場火山引擎的品牌發佈大會,歡迎大家關注。

特效場景篇

我想從特效的場景切入正題。字節跳動是一家擁有多產品矩陣的公司,在很多的業務場景下都落地了互動美效的功能,比如大家很熟悉的抖音上的特效,像國漫動畫風,日漫動畫風以及虛擬人相關的特效,在我們的業務裡面隨處可見。

以抖音爲例,作爲內容平臺,消費者同時也是生產者,想提升平臺的活躍度,一方面需要把消費者轉化成生產者:我們的智能視覺特效和智能創作就可以助力用戶以低門檻高效率的方式生產內容;另一方面,在消費端通過推薦算法進行精準的內容分發,提升視頻的消費,從而形成生產和消費的閉環。字節的算法能力大家也比較瞭解,我就不贅述了。

在直播場景,分爲開播端和觀衆端,開播端的主要用戶是主播,對主播而言,刷禮物是直接的直播收入來源。我們的特效能力可以幫主播定製化禮物,比如可以生成帶有主播照片的禮物,給主播進行排面展示。這種定製化的禮物在排行榜上同級別禮物中銷量排名前二,購買率非常高。

同時,直播場景觸發雲渲染的技術,現在還是有非常多的下沉市場用戶使用的手機配置較爲有限,爲避免用戶因終端算力的問題而影響了互動的體驗,我們也做了一些研發的工作,使渲染工作在雲端上完成。

另外,也有一些主播不願意露臉,Animoji虛擬形象功能可以貼合主播自身的形象,上線之後也得到了非常好的用戶收益。

最後是觀看體驗上的提升,我們採用自研的算法實現自適應銳化,讓觀看端以高清檔位(720P)自適應的方式觀看,使整個畫質更加透亮清晰,從而提升觀感。

在短視頻的場景下,抖音上近期投稿火熱的玩法是“芳心收割攻略”,這個是特效與運營聯動實現的,通過運營的同學運營起來,有相關的用戶參與和相關的熱點,才能發揮最大的價值。

另一個近期的爆款特效是用到了生成對抗網絡算法的“只有淡妝”,這個特效只上線了18天就在抖音的內部評級達到了“S”級,這是近半年來比較明顯的成績。

除此之外還有地標AR,這也是我們在商業化的探索,我們對成都IFS(國際金融中心)的建築物做了特效的附着,整個流程涉及到了採集、雲端渲染等相關的能力去進行展示,這個實踐也能夠融合到文旅方案,爲旅遊產業,或者是博物館帶來一些體驗和商業上的升級。

此外,在一些泛互娛樂場景下,比如在線教育,瓜瓜龍英語的趣味遊戲功能卡能讓年紀較小的孩子在初級體驗課裡展示自己的學習成果,這個功能卡片的受歡迎度排名第二,孩子們非常喜歡用這個卡片和老師互動。

還有智慧大屏的應用,現在的電視上一些攝像頭幫助大家進行家庭的娛樂體驗,後疫情時代有很多涉及到健身和電商購物的場景,我們在大屏電視上也做了一些落地,大屏電視的情況比較特殊,因爲終端算力本身就不強,它的CPU的能力落後移動手機的一到兩代。在這樣的較極端的終端場景下的落地特效也是目前在攻克的方向。

特效算法篇

講完了落地的場景,我想和大家分享關於特效的算法,有三個非常重要的關鍵詞——深耕場景、數據驅動、落地爲先。

大家提到人工智能算法,會有非常多的聯想,我們進行場景的細化,讓算法可以更好的服務用戶,關於算法適配相關的是我們非常關注的點。因爲在不同的用戶體驗下,它會分中近遠距離,全身半身,橫豎屏,以及實時、非實時的處理的要求等等因素,都會影響到算法的結果,因爲算法本身是一個比較敏感的模型,模型本身雖然適配很重要,或者泛化能力很重要,但我們在不同的場景下有不同的優化,比如說會議場景或者是短視頻場景都會進行不同的模型適配,同時搭配不同的分發策略,這個模型到了大家的手機上也會因爲手機的評分去進行不同的模型分發,這是一個非常重的生產工作。

在工程優化方面,不同機型的處理能力又不一樣,GPU的表現又不一樣,對於機型的評分我們非常關注,我們工程也要對移動端或者是大屏端進行適配。

我們的算法在解決實際問題的時候,也會有不一樣的要求,比如特效玩法的環節裡面,3D的人臉,就會有口紅的適配、帽子、耳機這樣的場景,在某些場景下帽子的材質沒有那麼重要,但如果這個東西在電商場景下去落地,比如說我想看看口紅的顏色,想看看珠光、啞光什麼樣子,不同的顏色是什麼樣子的,都需要AI的能力非常逼真,算法在不同的場景下也要去做不同的適配,讓它更貼合當下的業務場景。

特效引擎篇

我們經常聽到“跨平臺聯動”、“熱點追蹤”和“熱點覆蓋”這些說法。做移動端的生意,就必須在你的業務下能轉得起來,能支撐所有的用戶。這就需要多平臺支持,需要我們的算法既能落地在App上,也能落地在瀏覽器上,同時還可以落地在小程序上。我們需要進行移動端SDK的開發,甚至使用雲渲染這種比較重的方法去解決多平臺跨平臺支持的問題。

3D引擎跟虛擬形象以及智能創作相關,3D引擎剛纔也提到了,比如說物理引擎的模擬,比如說動畫系統,比如說粒子,TOF攝像頭,像谷歌和蘋果自己有AR的工具,他們從2D到3D的轉化也做了很多的工作,也許是下一個轉化是使用習慣的改變。

特效內容篇

內容也是我很想分享的,除了技術上的東西,其實我們認爲,運營是在娛樂場景下可能是最重要的一環。

我們生產了非常多的貼紙,生產了非常多的素材,這麼好玩的貼紙和素材都需要有一個平臺去支撐它,並且去評估它到底能夠起到多大的作用。我們會有一個平臺進行綜合管理,第一個關鍵詞就是平臺管理;

第二塊是數據監控相關的,這需要多個維度的數據監控,包括熱度,它的衰減曲線,地區熱度,抽象規則,使下一次特效上線之前有充分的經驗可以借鑑,去評估我們每一個玩法能達到的效果;

最後是關於商業化運營,特效除了提升用戶體驗之外,怎樣才能給企業或者是給產品帶來新的增長。我們的很多業務都有商業化特效,比如說跟品牌相關的一些貼紙,小遊戲,之前跟肯德基合作過一個射擊遊戲,因爲有畫的地方都可以貼logo,每一個明顯的特效欄都是自然的廣告位,並且這樣的方式是廣告主非常喜歡的,因爲廣告的形式真的太多了,像我們這一類的廣告貼紙又能觀測到點擊又能產生實際的效果。

特效工具篇

最後我想談談火山引擎的特效生產工具,特效生產工具在我們整個的鏈路裡面是非常非常重要的環節。

我認爲特效的生產效率對於特效能不能落地業務起着決定性的作用,在這一個環節裡,我會跟大家分享三個關鍵詞,第一個是提升生產效率,第二個是完善設計生態,最後一個是引擎同步升級。

像我們的2D、3D,甚至美顏等特效如何快速生產,如果需要一個人幹好幾天來生產,是無法支撐業務的。我們自己有一個生產工具,這個工具的底層和SDK都是同樣的引擎,它可以幫助我們的設計師用無代碼的方式,快速地生產一個特效,比如一天生產2D特效,5天生產3D特效。並且,因爲工具是抽象的,我們也可以向外部提供,讓外部的設計師生產了素材之後反哺我們的平臺,外部設計師願意在我們的生態上繼續生產貼紙可以實現變現,同時也提升了我們的效率。

最後是工具和引擎的聯動,算法創新了馬上會上到引擎。按照傳統的工作流程,一個開發設計師爲了對接引擎和渲染之間關鍵點的東西就需要好幾天,是非常浪費時間的。我們的工具就是爲了提升生產效率,讓外部的用戶也能使用到我們的工具,得到效率的提升。