目錄
利用圖注意力網絡在單細胞數據集上預測疾病狀態
無語預訓練的網絡剪枝技術
用於深度立體匹配的自適應單峰匹配代價體濾波
基於運動自適應反饋單元的視頻人臉超解析度
為新聞報道製作有代表性的標題
利用圖注意力網絡在單細胞數據集上預測疾病狀態
論文名稱：Disease State Prediction From Single-Cell Data Using Graph Attention Networks
作者：Neal G. Ravindra /Arijit Sehanobish /Jenna L. Pappalardo /David A. Hafler /David van Dijk
發表時間：2020/02/14
論文連結：https://arxiv.org/abs/2002.07128
推薦原因
核心問題: 本文解決的是在單細胞RNA序列數據集上進行多發硬化症(MS)預測的問題。此前，單細胞RNA序列從來未用來疾病的預測和診斷。同時，多發硬化症(MS)的診斷也十分困難。創新點: 圖注意網絡(GAT)可以很好的提取原始特徵信息以及圖結構信息，本文就使用的是圖注意力網絡(GAT)，主要深度提取到了對於疾病預測很重要的特徵(如細胞類型和基因特徵)，並把這些特徵加入到了現有多發硬化症的知識體系。同時，還利用此模型進行了細胞新特徵空間的推斷，而這些特徵重點體現了不同疾病狀態之間的區別。最後，作者還利用注意力權重學習到了一種新的低維嵌入表示，提取出了重要基因特徵，並可視化了學習出的的圖表示。研究意義: 該模型結果超過了圖卷積網絡，隨機森林和多層感知機這幾種傳統機器學習方法，是第一個將深度學習方法在單細胞數據集上預測疾病的模型。
無語預訓練的網絡剪枝技術
論文名稱：Pruning from Scratch
作者：Yulong Wang /Xiaolu Zhang /Lingxi Xie /Jun Zhou
發表時間：2019/9/27
論文連結：https://arxiv.org/pdf/1909.12579.pdf
推薦原因
核心問題：深度學習之所以有效，一個很大的原因就是它的擬合能力很強，雖然這是它的優勢，但是也會帶來一些問題，一個主要的問題就是模型過大往往需要大量的數據，而且訓練速度慢，所以減少模型大小和運行延時也成為逐漸關注的需求，這對於部署於邊緣移動端設備有實際應用價值。
創新點：該論文證實了一個有效的剪枝結構無需從預訓練權重得到，預訓練權重得到的剪枝結構往往是同質缺乏多樣性的，這很有可能限制了更好性能結構的探索。他們發現直接從隨機初始化權重即可以剪枝得到更多樣且最終性能更好的剪枝結構。
研究意義：這不僅極大的加速了模型剪枝流程，減少費時繁重的訓練過程，同時也為模型剪枝領域提供了一個強有力的基準結果。在CIFAR10上壓縮分類模型的實驗，方法不僅大大減少了傳統剪枝方法的預訓練負擔，而且在相同的計算預算下，達到了相似甚至更高的精度。
用於深度立體匹配的自適應單峰匹配代價體濾波
論文名稱：Adaptive Unimodal Cost Volume Filtering for Deep Stereo Matching
作者：Zhang Youmin /Chen Yimin /Bai Xiao /Yu Suihanjin /Yu Kun /Li Zhiwei /Yang Kuiyuan
發表時間：2019/9/9
論文連結：https://arxiv.org/abs/1909.03751
推薦原因
論文提出給匹配代價體（cost volume）添加自適應單峰分布的真值信息來監督，從而提升立體視差估計的準確率。本文的創新點比較新穎，關注的是以往被忽略的匹配代價體的監督問題，從理論上得出匹配代價體的分布是單峰分布。作者所提出的CENet和stereo focal loss也直觀而有效。行文寫作簡潔明了，值得學習。立體匹配方法最大的難點是缺少泛化性能，本文對匹配代價體的機率分布施加約束，能夠作為輔助的監督信息，適用於多種基於匹配代價體的立體匹配方法。
基於運動自適應反饋單元的視頻人臉超解析度
論文名稱：Video Face Super-Resolution with Motion-Adaptive Feedback Cell
作者：Xin Jingwei /Wang Nannan /Li Jie /Gao Xinbo /Li Zhifeng
發表時間：2020/2/15
論文連結：https://arxiv.org/abs/2002.06378
推薦原因
這篇論文考慮的是視頻超解析度的問題。
目前的CNN方法通常將這個問題視為大量單獨的多幀超解析度任務，即一批低解析度幀用於生成單個高解析度幀。然而由於幀與幀之間的複雜時間依賴性，隨著低解析度輸入幀數量增加，重構的高解析度幀性能會變差。這篇論文提出了一種運動自適應反饋單元（Motion-Adaptive Feedback Cell，MAFC），可以有效捕獲運動補償並將其以自適應方式反饋到網絡。這種方法有效利用了幀間運動的信息，可以避免網絡對運動估計和補償方法的依賴。此外，得益於運動自適應反饋單元的出色特性，在極端複雜的運動場景下，新提出的方法可以實現更好的性能。
為新聞報道製作有代表性的標題
論文名稱：Generating Representative Headlines for News Stories
作者：Xiaotao Gu / Yuning Mao /Jiawei Han /Jialu Liu / Hongkun Yu /You Wu
發表時間：2020/2/1
論文連結：https://arxiv.org/pdf/2001.09386v3.pdf
推薦原因
核心問題：每天網際網路上產生大量的文章，如何產生一個有效的標題成為一個關鍵問題。
創新點：本論文開發了一種遠程監控方法，訓練了一個大規模的生成模型。首先，論文提出了一個多層次的培訓框架，它包含了大量未標記的語料第二，基於關注層提取多篇文章的信息。同時本論文還提出了一個大規模的數據集。
研究意義：在很大程度上，通過這種方式生成的標題是非常優秀的。