首創端雲一體多情感模型 火山語音創新發布PortaSpeech 2
（原標題：首創端雲一體多情感模型 火山語音創新發布PortaSpeech 2）
火山引擎語音合成VTTS2.0版本正式發佈，能力再升級！
VTTS2.0版本採用火山語音團隊全新自研的語音合成模型 PortaSpeech 2 （下文簡稱：PS2），由當下流行的基礎模型架構 PortaSpeech原班人馬打造。爲滿足各種業務場景和客戶需求，PS2在第一代模型的基礎上，着重對音質韻律、多情感、端雲能力以及克隆等進行了大規模升級。經評測，PS2合成效果與真人錄音相似度高達99.8%，其中離線合成不僅支持多情感多風格，品質也與在線合成呈現出高度一致性。
圖1：社區開源版 PortaSpeech
首發離線多情感多風格 品質媲美在線實現無感切換
離線合成是指用戶在無網狀態下通過本地設備實時進行語音合成，具備實時性和隱私保護的優勢，雖然這種離線方式消除了對網絡連接的依賴，用戶可以在任何時間、任何地點進行合成，但往往很難與在線合成相媲美。經過深入的訓練與優化，PS2打破傳統的單一化低品質的離線效果，具備了與在線合成的品質並具有多情感、多風格能力，讓用戶在無網、弱網狀態下也能夠享受到極致的語音合成體驗。
作爲業界首個支持多情感多風格的端雲一體模型，PS2的端雲側同時兼具“三高”，即高品質、高一致和高性能。
PS2端側能支持的情感、風格範圍非常廣泛，包括但不限於開心、悲傷、愉悅、抱歉、撒嬌、鼓勵等。
此外基於端雲一體的架構設計和生成式蒸餾的訓推策略，PS2的端雲側可同時兼具高質量和音質一致性，實現用戶在端側和雲側之間切換時幾乎無感知；並且從各維度充分考慮了用戶在不同場景下的需求，確保了端到雲的效果在各個環節都能夠保持高度一致。實際使用中，會根據用戶的操作和網絡狀態選擇最優模型進行語音合成，保障用戶在任何環境下都能享受到流暢的語音合成體驗。
爲了最大程度提升PS2在資源利用率和性能方面的成績，爲用戶帶來更爲穩定和高效的使用體驗，火山語音團隊在訓練階段，針對不同模型特點採用 Int8和 fp16量化訓練，有效降低模型佔用空間併爲將來在多種硬件設備上提供高速推理能力奠定基礎；在推理階段，支持流式推理以降低處理首批數據時的延遲，提升系統響應速度和實時性，爲用戶帶來更流暢的體驗。性能評測如下表：
高度還原 在線合成與真人相似度高達99.8%
除了多重技術方向的創新升級之外，新晉的PS2模型在雲端應用中也展現出了高品質的語音合成能力以及效果。無論是與真人錄音相比較，還是與其他語音合成模型進行對比，PS2在各類場景中均有驚豔表現。
火山語音團隊是如何實現如此驚豔的效果？
聚焦模型結構與訓推範式創新 PS2帶來合成技術新突破
「模型結構升級」模型結構方面，PS2引入了全新的中間聲學表徵、聲學模型和聲碼器。相較於從前，PS2根據語音數據本身的特點，使用了更加精細的聲學特徵HiFiSpec。可以極大保留訓練數據的音高、音頻等細節信息，提高模型在音質和韻律的生成上限，使生成的語音音質更加清亮、飽滿和穩定。
具體來說，PS2的聲學模型根據HiFiSpec數據本身的特點，設計了兼具長短時依賴的編解碼器，引入了基於隱韻律表徵預測的對抗生成式神經網絡；同時使用蒙特卡洛採樣對隱韻律表徵分佈進行高精度和高效近似，允許其最大程度還原HiFiSpec的真實分佈和多樣性，使合成的語音更接近自然狀態下的人類聲音。聲碼器方面，PS2優化了音頻波形分佈擬合目標，同時藉助HiFiSpec的高表達性，重現極致音色和音質效果。
圖2：火山語音新一代 PortaSpeech 2模型框架圖
「訓推範式升級」訓推範式方面，PS2推翻了以往語音合成模型預訓練和微調的傳統範式，轉而採用新型自研教師-學生模型訓練範式。爲了更好地擬合真實的語音分佈，PS2的教師模型會自動根據不同業務場景特性，動態結合類似GPT的上下文學習（In-context learning）和微調學習（finetuning）方法，快速完成新音色、場景和情感的訓練。
爲了實現極致的模型性能和尺寸，PS2還進一步提出了一種名爲“生成式蒸餾”的方案。即完成訓練的教師模型會將它學到的語音數據分佈通過分佈形狀規整和長尾裁剪等方式，將最適用具體業務場景的語音分佈傳授給學生模型，從而允許學生模型在極小的模型參數下，生成的語音質量和韻律幾乎與教師模型無異。此外，學生模型還可以完美繼承教師模型的諸多能力，包括多語言和多情感等，可以勝任各種端上和端雲混合場景。訓練數據方面，除了火山語音內部錄製的大量精品數據以外，PS2還使用萬小時以上私有版權語音數據，藉助高效先進的模型架構和訓推範式，可以在僅有少量數據下實現表現力、情感和音色的遷移，滿足絕大多數場景需求。
圖3：生成式“教師-學生”模型蒸餾
火山語音團隊正不斷將打磨多年的語音技術能力面向市場並通過火山引擎開放給外部企業，已覆蓋汽車、金融、有聲閱讀、視頻配音等衆多應用場景，技術能力已成功應用到抖音、剪映、番茄小說等多款國民級產品上，並助力多家行業頭部企業實現AI語音能力的應用與拓展。未來火山語音還將不斷探索前沿科技與業務場景的高效結合，持續爲用戶體驗和業務增長注入創新勢能，以實現更大價值。