2021年4月30日 20:00，CVPR 2021 論文分享繼續！ 美國羅徹斯特大學四年級博士生田亞鵬將帶來精彩報告。
主題：視聽感知學習魯棒性初探
論文：Yapeng Tian, Chenliang Xu. Can audio-visual integration strengthen robustness under multimodal attacks? CVPR, 2021.
分享概要
多種不同感官的協作和信息融合使我們能成功完成對日常場景的感知。例如，當我們和人交談時，來自對話者的嘴唇變化，手勢，表情和語音都可以幫助我們獲取並理解對方的說話內容和情緒。心理和認知領域的研究已經驗證視聽多模態融合保證了人類感知系統的魯棒性。但是，這極度依賴於感知信息的可靠性。當某些感知模態被攻擊時，我們的多模態感知可能會失敗。著名的麥格科效應可以很好的說明這一問題。
而對於計算模型， 我們可以看到最近已經有很多工作通過結合來自視覺和聽覺的信息進行多模態的視頻場景感知和理解，並取得了優於單模態模型的性能。然而，這些視聽感知計算模型在攻擊下是否依然魯棒？或者這些模型會像人類感知系統一樣容易受到不可靠模態的影響？為了回答這些問題，我們利用對抗攻擊和防禦作為工具來對視聽感知學習的魯棒性進行系統研究。本次論文分享，講者將主要介紹關於視聽感知學習在對抗攻擊下的魯棒性的初步探索發現，並會討論未來的可能研究方向。
分享提綱
1、視聽感知學習簡介
2、視聽對抗攻擊
3、基於視聽相關性的對抗防禦
4、視聽對抗攻擊和防禦實驗驗證
分享人：田亞鵬
個人簡介：田亞鵬，美國羅徹斯特大學四年級博士生，導師 Chenliang Xu。主要研究方向為視聽多模態視頻場景理解和圖像/視頻復原重建, 在CVPR, ECCV, ICCV, TPAMI等國際期刊會議上發表多篇論文, 是CVPR, ECCV, ICCV, ICML, AAAI, NeurIPS, ICLR, IEEE TPAMI, IEEE TCSVT, IEEE TMM等多個知名國際會議期刊的審稿人。
直播地址
掃碼添加頂會小助手回復【CVPR】進群交流