收錄詞彙語句總規模超10萬，虛擬主播變身冬奧手語播報員

「運動員要從一個近50米高的斜坡上下滑，順滑、倒滑都可以選擇，然後在斜坡的盡頭騰躍，完成空翻、轉體、抓板等技術動作組合……」

電視畫面中，當主持人用較快的語速介紹冬奧會自由式滑雪大跳台項目時，畫面左下角的紅衣年輕女士手口並用，快速將這些內容以手語表達了出來。

2月5日以來，看過北京衛視《北京您早》節目的人可能見過上述這一幕。但很多可能不知道，電視畫面中的女手語播報員不是真人，而是「冬奧手語播報數字人」。

據智譜AI CTO張鵬介紹，「冬奧手語播報數字人」的最大優點是，它是一套自動系統，可以大量節省人工；同時，它可以流暢地將語音播報生成為手語播報，堪比真人。

目前，「冬奧手語播報數字人」的語義表達完整性已較高，其手語表達的90%的內容聽障人士與手語老師可懂。

國內最大規模多模態手語庫作支撐

2022年北京冬奧會不僅是一場全世界奧運健兒與嘉賓歡聚的盛會，也是一場科技賦能的「智慧」盛會。

「冬奧手語播報數字人」採用了我國首個超大規模智能信息模型和虛擬數字人技術，由北京市科委、中關村管委會支持，智譜AI、凌雲光和北京廣播電視台聯合為聽障人士打造，清華大學賈珈教授團隊和中科院計算所陳益強研究員團隊也參與了相關關鍵技術的研究和開發。

該其系統以超大規模預訓練模型為核心技術，自主搭建有多模態肢體動作、表情、手指同步採集系統，運用跨模態擬人生成演算法、超高精度寫實數字人等行業領先技術，實現了冬奧期間賽事新聞的專業手語翻譯播報。

張鵬告訴澎湃新聞記者，像「普通話」一樣，有通用手語，但也有類似方言的不同手語表達形式。因此，需要採集足夠多的語料，才能讓「冬奧手語播報數字人」能夠準確表達不同場景下的內容的語義。

對此，「冬奧手語播報數字人」系統完成了《國家通用手語詞典》收錄的8214條通用手語的採集和錄製，並且語法都以聽障群體習慣打法為準，以確保手語播報成果的準確性和專業度。

據智譜AI合伙人、高級副總裁左家平介紹，由於當前國內缺少較完善的手語語料數據，研發人員在北京市殘疾人聯合會和市殘聯聾人協會的支持下，邀請超過40餘位聾人老師及手語專家進行了手語文本轉寫和技術指導，並進行大範圍聽障群體評測，最終構建了符合國家通用手語規範的國內最大規模多模態手語語料庫，詞彙及語句總規模超10萬。

張鵬表示，目前「冬奧手語播報數字人」的語義表達完整性已較高，就聽障人士與手語老師的反饋來看，其表達的可懂度達90%。

「智能數字腦」助力流暢、快速手語播報

電視中，「冬奧手語播報數字人」之所以能快速自如地將語音播報轉換成手語，是因為研發人員已經克服了重重難關。

張鵬說，手語除了有「方言」與「普通話」外，其表達中諸如語序等一些規則和語音表達規則也不太相同。因此，「冬奧手語播報數字人」將語音轉化成手語時，需要自動學習進行語序調整。

「新聞主播的語速通常是每分鐘兩百多不到三百字，手語表達達不到那麼快的語速，但必須要能在正常合理的時間內把主要意思表達出來。這樣，由語音播報轉手語時，不能完完整整的逐字逐句的去翻譯，需要動態去精簡一些內容。」張鵬表示，這是一個難題，需要演算法反覆地去學習、調優。

為構建能夠理解、翻譯語音和手語的智能數字大腦，「冬奧手語播報數字人」系統以超大規模預訓練模型為核心技術，通過語義蒸餾及手語翻譯快編模型，實現新聞播報語音蒸餾成語義高度接近的手語文字，並翻譯成符合手語習慣的語序。最終，手語數字腦可以通過計算機模仿聽障人士的大腦，進行手語播報驅動。

此外，要讓數字人展現出高精度、高自然度的人物形象和手語動作姿態，也是一件難事。

為此，研發團隊自主搭建了多模態肢體動作、表情、手指同步採集系統。通過採集多模態動作捕捉數據，運用跨模態擬人生成演算法對超寫實數字人進行自然、流暢的驅動和渲染，實現對文本內容的手語播報。

其中，通過肌肉綁定技術驅動實現面部採集，結合業內領先的語音識別及高清視頻合成等技術，呈現給聽障人群親切自然的冬奧手語播報服務。

與「虛擬AI主播」有何不同？

新亮相的「冬奧手語播報數字人」與常見的「AI虛擬主播」有何不同？

中科院計算機所所務委員、泛在中心主任陳益強向澎湃新聞記者表示，「虛擬主播」與「冬奧手語播報數字人」，身上都用到了虛擬人相關的技術，都追求形象的流暢性。

雙方最大的區別在於：一般而言，AI主播動作比較自然即可；手語播報數字人則需要通過手勢動作來實現表意的準確性和可懂度。

另外，傳統的AI模型主要是進行語音播報，基本不存在可懂度的問題；但AI手語人存在手語打得是否可懂的問題，它需要用豐富的、誇張的表情來提高手語的可懂度。

張鵬表示，手語播報數字人的應用場景廣泛，可以為新聞媒體提供全流程智能化的數字人手語生成服務，也可將聲音廣播內容轉化為手語，以便聽障人士可及時獲取冬奧會賽事相關信息。

此外，推廣手語播報數字人可加速國家通用手語推廣落地，推動國家通用手語標準普及，為殘疾人平等參與社會生活創造無障礙環境。