俄羅斯：將審查iPhone等外國公司設(shè)備 保數(shù)據(jù)安全
iPhone和特斯拉都屬于在各自領(lǐng)域領(lǐng)頭羊的品牌，推出的產(chǎn)品也也都是數(shù)一數(shù)二的，但對于一些國家而言，它們的產(chǎn)品可靠性和安全性還是在限制范圍內(nèi)。近日，俄羅斯聯(lián)邦通信、信息技術(shù)
人工智能（AI）的進展顯示，通過構(gòu)建多層的深度網(wǎng)絡(luò)，利用大量數(shù)據(jù)進行學(xué)習(xí)，可以獲得性能的顯著提升。但這些進展基本上是發(fā)生在感知任務(wù)中，對于認知任務(wù)，需要擴展傳統(tǒng)的AI范式。
4月9日，羅格斯大學(xué)計算機科學(xué)系助理教授王灝，在AI TIME青年科學(xué)家——AI 2000學(xué)者專場論壇上，分享了一種基于貝葉斯的概率框架，能夠統(tǒng)一深度學(xué)習(xí)和概率圖模型，以及統(tǒng)一AI感知和推理任務(wù)。
據(jù)介紹，框架有兩個模塊：深度模塊，用概率型的深度模型表示；圖模塊，即概率圖模型。深度模塊處理高維信號，圖模塊處理偏推斷的任務(wù)。
以下是演講全文，AI科技評論做了不改變原意的整理：
今天和大家分享關(guān)于貝葉斯深度學(xué)習(xí)的工作，主題是我們一直研究的概率框架，希望用它統(tǒng)一深度學(xué)習(xí)和概率圖模型，以及統(tǒng)一AI感知和推理任務(wù)。
眾所周知，深度學(xué)習(xí)加持下的AI技術(shù)已經(jīng)擁有了一定的視覺能力，能夠識別物體；閱讀能力，能夠文本理解；聽覺能力，能夠語音識別。但還欠缺一些思考能力。
“思考”對應(yīng)推理推斷任務(wù)，具體指它能夠處理復(fù)雜的關(guān)系，包括條件概率關(guān)系或者因果關(guān)系。
深度學(xué)習(xí)適合處理感知任務(wù)，但“思考”涉及到高層次的智能，例如決策數(shù)據(jù)分析、邏輯推理。概率圖由于能非常自然的表示變量之間的復(fù)雜關(guān)系，所以處理推理任務(wù)具有優(yōu)勢。
如上圖，概覽圖示例。任務(wù)是：想通過目前草地上噴頭開或關(guān)，以及外面的天氣來推斷外面的草地被打濕的概率是多少，也可以通過草地被打濕反推天氣如何。概率圖的缺點是無法高效處理高維數(shù)據(jù)。
總結(jié)一下，深度學(xué)習(xí)比較擅長感知類的任務(wù)，不擅長推理、推斷任務(wù)，概率圖模型擅長推理任務(wù)，但不擅長感知任務(wù)。
很不幸，現(xiàn)實生活中這兩類任務(wù)一般是同時出現(xiàn)、相互交互。因此，我們希望能夠把深度學(xué)習(xí)的概率圖統(tǒng)一成單一的框架，希望達到兩全其美。
我們提出的框架是貝葉斯深度學(xué)習(xí)。有兩個模塊：深度模塊，用概率型的深度模型表示；圖模塊，即概率圖模型。深度模塊處理高維信號，圖模塊處理偏推斷的任務(wù)。
值得一提的是，圖模塊本質(zhì)是概率型的模型，因此為了保證能夠融合，需要深度模型也是概率型。模型的訓(xùn)練可以用經(jīng)典算法，例如MAP、MCMC、VI。
給具體的例子，在醫(yī)療診斷領(lǐng)域，深度模塊可以想象成是醫(yī)生在看病人的醫(yī)療圖像，圖模塊就是醫(yī)生根據(jù)圖像，在大腦中判斷、推理病癥。從醫(yī)生的角度， 醫(yī)療圖像中的生理信號是推理的基礎(chǔ)，優(yōu)秀的能力能夠加深他對醫(yī)療圖像的理解。
引申一下，電影推薦系統(tǒng)里，可以把深度模塊想象成是對電影的視頻情節(jié)、演員等內(nèi)容的理解，而圖模塊需要對用戶喜好、電影偏愛之間的相似性進行建模。進一步，視頻內(nèi)容理解和“喜好”建模也是相輔相成的。
具體到模型細節(jié)，我們將概率圖模型的變量分為三類：深度變量，屬于深度模塊，假設(shè)產(chǎn)生于比較簡單的概率分布；圖變量，屬于圖模塊，和深度模塊沒有直接相連，假設(shè)它來自于相對比較復(fù)雜的分布；樞紐變量，屬于深度模塊和圖模塊中相互聯(lián)系的部分。
下面介紹該框架是如何在實際應(yīng)用中效果。
推薦系統(tǒng)
推薦系統(tǒng)基本假設(shè)是：已知用戶對某些電影的喜好，然后希望預(yù)測用戶對其他電影的喜好。
可以將用戶對電影的喜愛寫成評分矩陣（Rating Matrix），該矩陣非常稀疏，用來直接建模，得到的準確性非常低。在推薦系統(tǒng)中，我們會依賴更多的信息，例如電影情節(jié)、電影的導(dǎo)演、演員信息進行輔助建模。
為了對內(nèi)容信息進行建模，并進行有效提純，有三種方式可供選擇：手動建立特征，深度學(xué)習(xí)全自動建立特征、采用深度學(xué)習(xí)自適應(yīng)建立特征。顯然，自適應(yīng)的方式能夠達到最好的效果。
不幸的是，深度學(xué)習(xí)固有的獨立同分布假設(shè)，對于推薦系統(tǒng)是致命的。因為假設(shè)用戶和用戶之間沒有任何的關(guān)聯(lián)的，顯然是錯誤的。
為了解決上述困難，我們推出協(xié)同深度學(xué)習(xí)，能夠?qū)?ldquo;獨立”推廣到“非獨立”。該模型有兩個挑戰(zhàn)：
1.如何找到有效的概率型的深度模型作為深度模塊。希望該模型能夠和圖模塊兼容，且和非概率型模塊的效果相同。
2.如何把深度模塊連接到主模塊里，從而進行有效建模。
來看第一個挑戰(zhàn)。自編碼器是很簡單的深度學(xué)習(xí)模型，一般會被用在非監(jiān)督的情況下提取特征，中間層的輸出會被作為文本的表示。值得一提的是，中間層的表示它是確定性的，它不是概率型的，和圖模塊不兼容，無法工作。
我們提出概率型的自編碼器，區(qū)別在于將輸出由“確定的向量”變換成“高斯分布”。概率型的自編碼器可以退化成標準自編碼器，因此后者是前者的一個特例。
如何將深度模塊與圖模塊相聯(lián)系？先從高斯分布中提出物品j的隱向量：
然后從高斯分布中，提取出用戶i的隱向量：
基于這兩個隱向量們就可以從另外高斯分布采樣出用戶i對物品j的分布，高斯分布的均值是兩個隱向量的內(nèi)積。
上圖藍框表示圖模塊。定義了物品、用戶、評分等等之間的條件概率關(guān)系。一旦有了條件概率關(guān)系，就能通過評分反推用戶、物品的隱向量，可以根據(jù)“內(nèi)積”預(yù)測未知的背景。
上圖是整個模型的圖解，其中λ是控制高斯分布方差的超參數(shù)。為了評測模型效果，我們用了三個數(shù)據(jù)集：citeulike-a、citeulike-t、Netflix。對于citeulike是用了每篇論文的標題和摘要，Netflix是用電影情節(jié)介紹作為內(nèi)容信息。
實驗結(jié)果如下圖所示，Recall@M指標表示，我們的方法大幅度超越基準模型。在評分矩陣更加稀疏的時候，我們模型性能提高幅度甚至可以更大。原因在于，矩陣越稀疏，模型會更加依賴內(nèi)容信息，以及從內(nèi)容提取出來的表示。
推薦系統(tǒng)性能提升能夠提升企業(yè)利潤，根據(jù)麥肯錫咨詢公司的調(diào)查，亞馬遜公司中35%的營業(yè)額是由推薦系統(tǒng)帶來的。這意味著推薦系統(tǒng)每提升1%個點，都會有6.2億美金的營業(yè)額提升。
小結(jié)一下，到目前為止，我們提出了概率型的深度模型作為貝葉斯深度學(xué)習(xí)框架的深度模塊，非概率型的深度模型其實是概率型深度模型的特例。針對深度的推薦系統(tǒng)提出層級貝葉斯模型，實驗表明該系統(tǒng)可以大幅度推薦系統(tǒng)的效率。
其他應(yīng)用設(shè)計
給定一個圖，我們知道邊，并了解節(jié)點的內(nèi)容。此圖如果是社交網(wǎng)絡(luò)，其實就是表示著用戶之間的朋友關(guān)系，節(jié)點內(nèi)容就是用戶貼在社交平臺上的圖片或者文本。這種圖關(guān)系，也可以表示論文的標題、摘要、引用等等聯(lián)系。
我們的任務(wù)是希望模型能夠?qū)W習(xí)到節(jié)點的表達，即能夠捕獲內(nèi)容信息，又能夠捕獲圖的信息。
解決方案是基于貝葉斯深度學(xué)習(xí)框架，設(shè)計關(guān)系型的概率自編碼器。深度模塊專門負責(zé)處理每個節(jié)點的內(nèi)容，畢竟深度學(xué)習(xí)能夠在處理高維信息是有優(yōu)勢的；圖模塊處理節(jié)點節(jié)點之間的關(guān)系，例如引用網(wǎng)絡(luò)以及知識圖譜復(fù)雜的關(guān)系。
在醫(yī)療領(lǐng)域，我們關(guān)注醫(yī)療監(jiān)測。任務(wù)場景是：家里有小型雷達，會發(fā)射信號，設(shè)計的模型希望能夠根據(jù)從病人身上反射的信號，發(fā)現(xiàn)病人是否按時用藥、用藥的次序是否正確。問題在于：用藥的步驟非常復(fù)雜，需要理清順序。
基于貝葉斯深度學(xué)習(xí)概率框架方法，用深度模塊處理非常高維的信號信息，用圖模塊對在醫(yī)療專有知識進行建模。
值得一提的是，即使對于不同應(yīng)用的同一模型，里面的參數(shù)具有不同的學(xué)學(xué)習(xí)方式，例如可以用MAP、貝葉斯方法直接學(xué)習(xí)參數(shù)分布。
對于深度的神經(jīng)網(wǎng)絡(luò)來說，一旦有了參數(shù)分布，可以做很多事情，例如可以對預(yù)測進行不確定性的估計。另外，如果能夠拿到參數(shù)分布，即使數(shù)據(jù)不足，也能獲得非常魯棒的預(yù)測。同時，模型也會更加強大，畢竟貝葉斯模型等價于無數(shù)個模型的采樣。
下面給出輕量級的貝葉斯的學(xué)習(xí)方法，可以用在任何的深度學(xué)習(xí)的模型或者任何的深度神經(jīng)網(wǎng)絡(luò)上面。
首先明確目標：方法足夠高效，可通過后向傳播進行學(xué)習(xí)，并“拋棄”采樣過程，同時模型能夠符合直覺。
我們的關(guān)鍵思路是：把神經(jīng)網(wǎng)絡(luò)的神經(jīng)元以及參數(shù)，看成分布，而不是簡單的在高維空間的點或者是向量。允許神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)的過程中進行前向傳播、后向傳播。因為分布是用自然參數(shù)表示，該方法命名為NPN（natural-parameter networks）。
本文鏈接：http://m.www897cc.com/showinfo-119-2307-0.html貝葉斯深度學(xué)習(xí)：一個統(tǒng)一深度學(xué)習(xí)和概率圖模型的框架
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號