大數據文摘出品
作者：Christopher Dossman
編譯：Olivia、Joey、雲舟
嗚啦啦啦啦啦啦啦大家好，本周的AI Scholar Weekly欄目又和大家見面啦！
AI ScholarWeekly是AI領域的學術專欄，致力於為你帶來最新潮、最全面、最深度的AI學術概覽，一網打盡每周AI學術的前沿資訊。
每周更新，做AI科研，每周從這一篇開始就夠啦！
本周關鍵詞：機器人、GAN、DNN
本周最佳學術研究
生成對抗網絡（GAN）的數學原理介紹
你是否一直想了解生成對抗網絡（GAN）背後的數學原理呢？
自Ian Goodfellow開創性地提出GAN以來，這個網絡框架受到了相當多的關注。研究人員和工程師深入研究了理論概念並研發出了許多與GAN相關的新觀點，新技術和新應用。如此多的科研成果令Yann LeCun都認為，「GAN和它層出不窮的諸多變體是機器學習領域過去10年中最有趣的想法。」
本文試圖從數學的角度為GAN的初學者提供入門知識。誠然，理解GAN絕不僅僅是理解其數學原理這麼簡單，還需要充分理解它的算法和應用等。儘管如此，研究者仍認為理解數學原理對於理解GAN是至關重要的。因為在此基礎上，掌握GAN的其他方面將更加容易。
原文：
https://arxiv.org/abs/2009.00169v1
一個發展型機器人的模擬環境
儘管針對特定應用的發展型機器人模型已經有了許多令人印象深刻的新進展，但是能夠像人類一樣學習和執行多任務的模型仍非常缺乏。換言之，我們有必要為類似於人類學習環境的模型提供更多樣化的體驗。
在這項工作中，研究人員提供了一種用於發展型機器人的模擬環境SEDRo，該環境仍在開發中。SEDRo提供了從胎兒到12個月大的人類的體驗。根據研究，一系列基於發展心理學的模擬測試將用於評估學習模型的進展。
研究人員稱，SEDRo可以在進行實體機器人實驗之前測試認知架構，從而減少了用於昂貴的實體機器人實驗的候選架構數量。因此，他們期望SEDRo能夠降低入門成本，並促進發展型機器人領域的研究。
原文：
https://arxiv.org/pdf/2009.01810v1.pdf
關於加快深度神經網絡的訓練和推斷的研究
深度神經網絡（DNN）越來越多地被用於許多應用領域來提供最先進的結果。然而，儘管它們越來越重要，但它們對計算和內存的要求卻也非常高。這在客觀上導致了科研人員們從應用系統到底層硬體去全流程地優化DNN，過程中涉及到了很多複雜技術。
在本文中，研究人員介紹了一種利用稀疏性來加速DNN訓練和推斷的硬體技術TensorDash。鑒於訓練的重要性，它面臨的用於加速軟體或硬體的工作量非常大且不斷增加。
TensorDash將是低成本且稀疏的，它將每乘數八個多路復用器輸入的輸入操作數互聯結構與區域高效的硬體調度器結合在一起。在評估方面，TensorDash在將訓練過程加快了1.95倍的同時將能源效率提高了1.89倍，而且在考慮到片上和片外存儲器訪問時將能源效率提高了1.6倍。
原文：
https://arxiv.org/abs/2009.00748v1
使用RangeRCNN實現快速、準確的3D對象檢測
3D數據對於自動駕駛等多種應用極為重要。但是，由於點雲不規則且稀疏，因此3D對象檢測仍然是一個極具挑戰性的任務——這需要對3D點雲進行強有力且合適的研究。
為此，近期的一項新研究探索了距離圖像表示的潛力，並引入了一個新的框架：RangeRCNN，用於快速、準確的3D對象檢測。
廣泛的評估表明，RangeRCNN在KITTI 3D對象檢測數據集上達到了最先進的性能。研究人員證明，基於距離圖像的識別方法可以在KITTI數據集上有效，這也為實時3D對象檢測提供了更多可能性
閱讀更多：
https://arxiv.org/abs/2009.00206v1
能實現關鍵字檢索的神經網絡結構
本文實現了卷積神經網絡模型實現了搜索功能，該模型可以基於從聲音信號中提取的特徵來幫助提高關鍵字識別性能，同時保持可接受的內存占用。
具體而言，研究人員使用可區分的體系結構搜索技術在預定義的單元格搜索空間中搜索操作員及其連接。然後將找到的單元在深度和寬度上按比例放大以實現高性能。測試結果表明，該方法在Google的語音命令數據集上表現不錯，並且在文獻中通常報告的12類話語分類設置上達到了97％的最新精度。
但是，該方法的計算量大，需要數百個GPU，並且無法將模型轉移到大型數據集。另外，本文的作者設計了一個NASNet搜索空間來搜索最佳的卷積層，並堆疊此單元的副本，以形成NASNet體系結構。儘管NASNet訓練得更快，並且可以推廣到更龐大的數據集，但是使用500個GPU進行整個搜索過程仍需花費四天的時間，讓人不禁問：這真的是值得一試的東西嗎？
閱讀全文：
https://arxiv.org/abs/2009.00165v2
其他爆款論文
新的研究發現，通過重新訓練進行變換量化能夠將CNN模型（例如AlexNet，ResNet和DenseNet）壓縮到非常低的比特率（1-2位）：
https://arxiv.org/abs/2009.01174v1
在官方的KITTI排行榜中，這一新方法在所有基於融合的方法中排名最高：
https://arxiv.org/abs/2009.00784v1
用於線下生成樣式手寫文本的GAN：
https://arxiv.org/abs/2009.00678v1
3D面部深度恢復GAN：
https://arxiv.org/abs/2009.00938v1
深度學習運動捕捉入門——原理、陷阱和觀點：
https://arxiv.org/abs/2009.00564v2
學習資源
自適應深度學習訓練和計劃框架的開源資源——AdaptDL：
https://petuum.com/2020/09/02/introducing-adaptdl
AI大事件
確切數據顯示，對人工智慧工作的興趣真的在激增：
https://economictimes.indiatimes.com/jobs/artificial-intelligence-jobs-see-a-spike-in-interest-says-indeed-data/articleshow/77926043.cms?from=mdr