K60 Pro官方停產 第三方瞬間漲價
雖然沒有官方宣布，但Redmi的一些高管也已經透露了，Redmi K60 Pro已經停產且不會補貨，這一切都是為了即將到來的K60 Ultra鋪路，屬于廠家的正常操作。但有意思的是該機在停產之后
近日，51CTO面向區域城市，重磅推出的技術沙龍T·Club技術開放日杭州站成功舉辦！
8月26日，杭州站技術沙龍以“音視頻技術創新探索與應用實踐”為主題，邀請到來自快手、火山語音、網易云音樂和Rokid四位大型互聯網企業技術專家，從音視頻質量、語音識別模型、用戶視聽體驗以及音視頻技術在AR場景落地等維度出發，結合自身企業業務和應用，分享了音視頻技術在不同應用場景的落地實踐，使在場的開發者們受益匪淺。
快手圖像視頻處理分析負責人孫明首先為大家分享了主題為“KVQ：基于AI的快手視頻質量評價”的演講。
快手平臺視頻內容豐富多樣，這些視頻記錄了世界，分享了不同的生活方式，與此同時也面臨著視頻質量參差不齊的問題。業界常見的工具并不能滿足UGC場景的需求，如何全面有效評估畫質是一個亟待解決的問題。而快手視頻質量模型KVQ，可以針對復雜的視頻內容和低質成因提供一致性的客觀質量打分，從而能有效監控UGC視頻全生命周期的清晰度狀況。
孫明團隊基于先驗的弱標注方法 (PC、PG) ，以較低的成本構建了一個千萬級的異構數據集，其中異構包括單刺激標注（SS）、樣本對標注（PC）、先驗樣本對標注（PG）這三種數據，并針對海量數據提出QPT訓練方式。
首先，團隊引入模擬線上生產消費鏈路的退化方式（Degradation Type）進行質量數據的生成，覆蓋各種場景，且利用退化空間包含的2x107 種組合形式，對應生成千萬級別的無標簽畫質數據，進而利用PG生成的數據做對比學習，來構建無監督訓練模型；其次，團隊進一步引入無監督學習（Self-supervised Learning），提出QPT預訓練方式，通過質量維度的相關性來獲取畫質特征，提升跨場景感知能力，奠定了異構數據建模的基礎。
同時，無監督學習在公開數據集上將SOTA提升5%，快手場景下平均提升10%；最后，團隊引入多任務學習（Multi-task Learning），將上述基于PG數據預訓練的模型作為初始化權重，針對SS標注數據采用回歸損失函數，針對PC數據采用排序損失函數進行優化，從而用SS+PC數據聯合訓練的方式對質量數據進行利用，發揮大模型的真正效用，使得模型在不同分數段的預測保序性得到顯著提升，快手場景下平均SRCC提升5%。
此外，快手音視頻技術團隊對快手視頻失真分布情況也進行了分析與思考，并發現一個比較重要的現象，將其稱之為多峰效應，即畫質在時序上呈現多峰分布。團隊提出多分支時序網絡，并行KL注意力機制模塊，高效建模時空分布存在差異的不同失真類型，有效應對針對視頻分類任務設計的通用Transformer結構采樣較為均勻，不能有效建模少數包含失真幀的技術難點，使公開數據集上提升3%，快手場景下提升5%，并且針對720P/30s/30FPS的視頻，處理僅需0.5s，在快手點播或直播能每日執行約7500萬次視頻質量評價。
快手質量分析大模型KVQ也成為業界首次構建千萬級別的異構標注VQA數據集、業界首個QPT預訓練模型，提升跨場景感知能力及業界首次在UGC場景勝過商用軟件，并大規模落地的視頻質量分析大模型。
（完整分享視頻請點擊閱讀原文查看）
語言模型融合是端到端語音識別模型實現領域自適應的核心技術。近年來，“內部語言模型估計”（Internal Language Model Estimation, ILME）方法顯著提升了語言模型融合的性能。火山語音針對ILME技術提出了一系列算法改進，語音識別算法研究員陳智鵬就基于此話題為技術沙龍的開發者們帶來了主題為“端到端語音識別中的語言模型融合技術創新與落地實踐”的演講。
傳統的語言模型是基于深度神經網絡的Hybrid語音識別模型，是將聲學模型和語言模型獨立建模，在解碼時，再把兩部分的分數相加，形成聯合解碼。在通用的語音識別場景中，語音識別發揮了重要作用，但對于一些垂直領域或者專業術語，它的準確率并不理想，且單獨訓練ASR模型的算力成本很高。為了進一步改善智能字幕的用戶體驗，并節省ASR模型訓練的算力成本和數據成本，在語音識別里做語言模型的融合成為一項技術改進重點。
火山語音團隊逐個擊破當前技術方案中存在的問題，面對經典ILME方法直接將context vector置0，在一些模型上效果不佳的問題，提出標簽同步的上下文向量學習方法，把解碼過程中每一步中間的隱狀態H送到一個非常小、非常輕量FFN網絡里，并讓這個網絡學會預測一個合理的C，再將合理的C送回，達到優化內部語言模型估計的目的。因為FFN網絡可以做到非常小，所以對于整體的計算量也沒有太明顯的影響。
此外，面對融合垂直領域語言模型之后，對通用場景識別效果有負面影響的問題，火山語音團隊提出自適應語言模型融合技術；面對引入外部和內部語言模型之后，推理計算量大幅增加，成本上漲的問題，火山語音團隊提出內部&外部語言模型壓縮方案。總結起來，端到端語音識別的語言模型融合技術方面，主要有三個維度的工作，分別是效果更好、更加實用和成本更低。
隨著視聽終端設備（IoT）和AI技術的發展，用戶能體驗到極致的視聽體驗可能性得到拓展，網易云音樂音視頻實驗室負責人劉華平帶來了以“用戶視聽體驗的優化實踐”為主題的演講，分享了通過解構音樂流媒體平臺視聽場景中端到端的視聽體驗鏈路環節，分析影響視聽的各個要素并介紹保障高質量視聽的相關實施技術細節。
在話題分享之前，劉華平為大家介紹了一些有關音質的概念，包括量化位數、聲道、音質評估等。隨后劉華平從數字音樂典型應用場景鏈路：流式點播場景切入，就內容源、播放引擎、后處理、觀眾側這四個流式點播鏈路展開，為大家分享了其團隊為提升音質在各環節所做的努力。其中，對內容源進行分析處理，包括真假無損檢測、噪聲檢測、內容補全等，以確保源內容的質量；播放引擎最關鍵的目的是保證解碼沒有損失，同時支持一些HiFi的特性。在進行解碼方案調整時，還會考慮到不同播放設備、不同聽覺曲線對音質的影響。
此外，除了點播場景，劉華平還向大家介紹了云音樂里面的直播場景，主要包括主播側、網絡和觀眾側等三個環節。
在主播側，劉華平團隊就聲音采集、處理、編碼等環節進行了優化。例如，針對高質量手機聲音采集問題，劉華平提出四點優化方向：
手機硬件有默認采樣率，這個采樣率下工作是最優的，設置其他采樣率的音頻會從默認的采樣率重采樣到目標采樣率，所以按實際需求，一般直接選擇默認采樣率。一般老機器可能是44100，但是新機器大部分是48000。
通常需要選擇最常用的錄制接口，也是測試最多的接口，這樣穩定性最好，兼容性也最好。且能保證錄制的音頻沒有兼容性問題而導致的噪音或者左右聲道聲音完全不對的問題。Android 一般選擇 Java的audiorecord， iOS一般選擇audiounit。這兩個目前兼容性最好的錄制接口。
主要有兩點，主要的目的就是保證錄制不受性能影響，不丟數據，保證數據完整性。
OS錄制設置的模式可以選擇AVAudioSessionModeDefault,默認模式兼容所有category；
AVAudioSessionModeVoiceChat適用于語音聊天VoIP；
AVAudioSessionModeGameChat適用于游戲模式，不需要主動設置（若不想用GKVoiceChat但希望達到類似功能，可以使用AVAudioSessionModeVoiceChat）；
AVAudioSessionModeVideoRecording 適用于使用攝像頭采集視頻的應用。（完整分享視頻請點擊閱讀原文查看）
在AR應用里，透明視頻屏蔽了無關的背景，使用戶更專注于核心內容，也能夠更自然地和場景融合，提升沉浸感。Rokid 應用平臺音視頻負責人黨予博便為大家帶來了以“透明視頻在AR場景中的應用實踐”為主題的演講，從AR應用需要什么樣的視頻體驗、透明視頻如何編碼、透明視頻的應用場景角度切入話題，分享了Rokid 應用平臺應用透明視頻的實踐落地與相關成果。
在演講中，黨予博首先介紹了AR在工業上的應用，包括通過AR合影功能來進行空間建圖等，從而總結出AR應用的三個特征：
（1）虛實融合：將虛擬的物體投入到真實的場景，增強對現實世界的理解；
（2）實時互動：增強的內容必須滿足實時的交互；
（3）空間對齊：幾何一致性、時間一致性、光照一致性。
以及AR應用視頻的進化方向：
（1）如何和現實場景融合；
（2）如何實時響應用戶操作；
（3）展示哪些內容，直播、云渲染、三維重建。
談到透明視頻的編碼，黨予博認為這涉及到alpha通道的編碼、傳輸和儲存問題。流行的編碼器中，谷歌的Libvpx和蘋果2009年推出的HEVC with alpha都支持透明視頻的編碼，兩個編碼器的性能特點存在差異，但黨予博表示透明視頻本身并不重要，重要的是需要探索那些適合用這個方式展現出來的內容或場景，例如：AR 三方錄制、云端渲染推流、透明視頻直播等應用場景。
總之，AR應用對視頻的要求和其他的視頻并不一樣，AR應用需要融合需求，打造沉浸感，實現實時互動。AR應用的發展需要我們創建更多內容，不斷突破，以此來豐富AR視頻體驗，賦能產業升級，商業落地。
以上是51CTO T·Club技術沙龍杭州站的大致分享內容，完整沙龍視頻請點擊閱讀原文查看。
本文鏈接：http://m.www897cc.com/showinfo-26-10422-0.htmlT·Club技術開放日杭州站精彩回顧：音視頻技術創新探索與應用實踐 T·Club
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號