<em id="5vl1p"><dfn id="5vl1p"><dfn id="5vl1p"></dfn></dfn></em>

<em id="5vl1p"><dfn id="5vl1p"><listing id="5vl1p"></listing></dfn></em>

    <form id="5vl1p"></form>

      <font id="5vl1p"><mark id="5vl1p"><del id="5vl1p"></del></mark></font>

      <menuitem id="5vl1p"></menuitem>

        <address id="5vl1p"></address>

          <th id="5vl1p"><progress id="5vl1p"></progress></th>
          邏蘭
          雅馬哈
          當前位置:中國數字視聽網首頁 > 專業音響 > 動態 > 正文
          快速搜索:

          騰訊QQ亮相2021谷歌開發者大會官網

          ——AI語音降噪打造音視頻通話新體驗
          2021年11月16日 14:03  來源:中國數字視聽網  字體【   

          【數字視聽網訊】 當6億用戶習慣每天通過QQ發送語音和進行視頻通話,或者在群里與網友語音接龍完成一場Pia戲,又或是與好友一起派對語音答題的時候,大家可曾想過,在不同場景下始終清晰、流暢的QQ音視頻體驗背后,到底是什么黑科技在支撐這些場景中“聲”與“話”的美好?

          今年11月16日召開的谷歌2021開發者大會期間,大會官網更新了一則案例——《TensorFlow助力:AI語音降噪打造QQ音視頻通話新體驗》,作者正是QQ音視頻通話技術團隊。作為谷歌TensorFlow的優秀應用案例,騰訊QQ團隊在該文中詳細揭秘了語音增強技術在QQ音視頻功能中的研發與應用。


          借助TensorFlow,QQ搭建AI降噪模型訓練框架

          在如今的應用市場中,音視頻通話功能幾乎已成為APP的標配。2021年10月份AppStore中國區下載榜前100名中,超過70%的APP配備音視頻通話功能。音視頻功能的體驗,是衡量一款APP體驗是否優秀的重要指標。

          而優化音視頻通話質量,降噪算法是核心技術之一。

          目前,主流降噪方案主要有傳統降噪和AI降噪兩種。傳統降噪方法計算量低,具有實時進行語音降噪的優勢,但與此同時,因其基于數學和物理原理進行推導,過程中難免基于人認知的理想先驗假設,這使得傳統降噪對實際場景中頻發的多種類、非平穩噪聲表現不佳。

          AI 降噪是最近興起的基于數據驅動的降噪方法,能夠有效的應對各種突發的非平穩噪聲,但前期需要經過大量的數據訓練,以及搭建合適的數據模型作為基礎。而模型在移動端的部署,需要權衡模型大小、降噪效果、CPU 占用率和內存占用率等多個因素,由此給降噪技術的實現帶來了一定的挑戰。

          為解決6億用戶對QQ音視頻的龐大需求,騰訊QQ 團隊基于開源TensorFlow機器學習平臺,搭建了 AI 降噪與噪聲場景分類的并行訓練框架,并設計了音頻降噪、音質提升和模型優化算法。


          噪聲數據的多樣性是提高降噪模型泛化性的關鍵,因此,在訓練模型時,騰訊QQ團隊通過若干等時長音頻數據的“投喂”和場景訓練,結合合適的數據擴充,進一步提升了模型泛化能力,結合精細化設計的網絡結構,能夠讓 AI 降噪模型適應生活中常見的幾百種噪聲,為用戶提供具有 AI 加持的智能通訊體驗。

          同時,騰訊QQ團隊還借助 TensorFlow Lite 的量化功能減小模型尺寸,在模型的降噪效果基本不受影響的前提下,極大提升了性能優勢并成功部署到產品功能中。

          AI 降噪算法+蒸餾技術模型優化,打造實時、高質量的清晰通話體驗

          在案例中,騰訊QQ團隊指出,AI降噪算法包括音頻降噪模塊和音質提升模塊兩大方面。


          音頻降噪模塊主要是通過針對帶噪聲音頻中的干凈人聲進行建模,再提取出帶噪音頻的頻域特征,將帶噪聲音頻與干凈音頻的的頻域特征進行對比和計算,從而使AI對人聲之外常見的開門聲、鍵盤聲、走路聲等音頻具備更精準的識別能力和降噪處理,從嘈雜環境中剝離出干凈語音。


          在此基礎上,騰訊QQ團隊又加入了音質提升模塊,以平衡降噪幅度,確保噪聲去除的更加干凈,同時避免導致其它有用的音頻被消音,確保實時降噪過程中“有用的信息都進來,無用的噪音都隔離”。

          當代人生活更加多元,餐廳、咖啡館、車廂、影院以及街道、小區等不同場景,晴天、雨天、臺風天等不同天氣,也都伴生著不同種類的噪聲,也都有可能對用戶的音視頻體驗帶來干擾。

          為測試AI降噪面向不同場景的深度優化能力,騰訊QQ團隊還選取了辦公場景下常見的百種噪聲:鍵盤聲、關門聲、風扇聲等噪音,結合干凈人聲按照 0dB、5dB、10dB 和 15dB 信噪比制作混合音頻,分別測試原始降噪模型以及采用蒸餾技術提升后的AI-Denoise-student模型的表現。


          測試結果顯示,短時目標清晰度(STOI)與語音質量的感知評估(PESQ)均有所提升,并且隨著降噪量的提升,AI降噪效果的優勢還能進一步凸顯。


          優質的社交功能體驗,往往藏在用戶“看不見”的地方

          社交軟件幾乎占據了當代人使用手機的大半時間,它不僅是人們日常交往中至關重要的工具,同時也緊密關系著用戶體驗與社交質量。

          而在每一條文字或語音信息的背后,在每一通音頻或視頻通話的背后,都有來自無數環節的技術支持,每一個環節的優劣,也都關系著用戶體驗的好壞——用一句比較流行的話來說,就是“用盡了全身力氣,才能顯得毫不費力”。

          騰訊QQ團隊基于TensorFlow研發的降噪技術,能夠通過AI算法帶來智能的降噪功能和清晰、干凈的音視頻體驗,對于行業難點之一的音頻降噪同時保證音質效果,也有了針對性的優化方案,對語音質量和視頻通話帶來更好的技術保障。

          騰訊QQ一直專注社交與溝通,致力于提供優質的社交體驗。許多音視頻相關的功能如趣味變聲、語音暫停等功能都率先出現在QQ中。這些功能也受到了年輕人的普遍喜愛。據悉,騰訊QQ未來還將在AI基礎算法、模型方面加強研究,拓展更多元的社交應用場景。

          (編輯:hxl)

          中國數字視聽網微信公眾平臺:
          搜索“數字視聽網”或掃描下面的二維碼,關注官方微信平臺,開啟視聽行業新聞資訊新旅程!
          [Bose]DS100SE揚聲器
          [Bose]DS100SE揚聲器
          價格:面議
          [先歌]DX1208
          [先歌]DX1208
          價格:面議
          [ITC]T-6232A
          [ITC]T-6232A
          價格:面議
          [惠威]KX1000
          [惠威]KX1000
          價格:4000元
          [雅馬哈]MCR840
          [雅馬哈]MCR840
          價格:2200元
          MAXHUB
          快捷
          產品關注排行
          "掃一掃"關注我
          又污又爽又黄的网站
          <em id="5vl1p"><dfn id="5vl1p"><dfn id="5vl1p"></dfn></dfn></em>

          <em id="5vl1p"><dfn id="5vl1p"><listing id="5vl1p"></listing></dfn></em>

            <form id="5vl1p"></form>

              <font id="5vl1p"><mark id="5vl1p"><del id="5vl1p"></del></mark></font>

              <menuitem id="5vl1p"></menuitem>

                <address id="5vl1p"></address>

                  <th id="5vl1p"><progress id="5vl1p"></progress></th>