為了不曾忘卻的紀念:孫劍專題

2022-06-22     AI掘金志

原標題:為了不曾忘卻的紀念:孫劍專題

「16年前,黃煦濤去香港過聖誕,無意間發現一同聚會的幾位計算機視覺的領軍人物均相差10歲,分別是:1936年出生的黃煦濤、1946年出生的馬頌德、1956年出生的高文、1966年出生的沈向洋。大家便討論下一次聚會,是否能再找到另一位再年輕10歲的計算機視覺領軍人物,討論迅速指向同一個人,那便是沈向洋的學生、1976年出生的孫劍。」

2020年夏天,陳長汶教授在全球人工智慧與機器人大會(GAIR) 「Thomas S. Huang紀念專場—中國計算機視覺的40年傳承」環節,講述了「40年傳承」的由來。

作為40年傳承故事的主人公,孫劍也連續三個夏天(2017-2019)來到雷峰網GAIR大會的講台,帶著上百頁幻燈片,毫無保留地為千名後輩們傳承布道。

然而就在一個星期前的6月14日,孫劍卻因病離世,這怎不讓人扼腕嘆息。

生平與貢獻

孫劍博士一生專注於科研工作,是人工智慧計算機視覺及深度學習領域的知名學者。他的研究成果極大的推動了人工智慧技術的發展和應用。孫劍博士的主要研究方向是計算機視覺和計算攝影學。自2002年以來在CVPR、ICCV、ECCV、SIGGRAPH、PAMI五個頂級學術會議和期刊上發表學術論文100餘篇,Google Scholar引用數超過28萬次,H-index 121,兩次獲得CVPR Best Paper Award(2009,2016)。

2016年7月,孫劍博士加入曠視,任首席科學家、曠視研究院院長。在孫劍博士的帶領下,曠視研究院從十幾人的小團隊發展成為行業領先的計算機視覺研究院,研發了包括移動端高效卷積神經網絡ShuffleNet、開源深度學習框架曠視天元MegEngine、 AI生產力平台Brain++等多項創新技術,引領前沿人工智慧應用。孫劍博士一手創造了研究院開放、平等、自由的文化和工作氛圍並奠定了研究院的使命:持續創新拓展認知邊界;非凡科技成就產品價值。

代表作ResNet

根據Google Scholar統計,孫劍的論文引用數高達28萬6千餘次,引用量排名第一的,正是「深度殘差網絡(ResNet)」。ResNet是世界上第一個超過百層的深度神經網絡,也是深度學習領域最重要的研究之一。

在GAIR 2017上,孫劍曾經介紹ResNet研究的背景:曾經人們不相信深度學習網絡是可以被訓練的,從2012年8層的AlexNet之後,一切就都變了。但受各種條件的限制,在這種範式下,網絡在20層左右的表現最好;直至ResNet的出現,則是讓神經網絡的研究開始起飛,進入了一個新的階段。

這一切緣由於神經網絡研究一向的「The Deeper,The Better」(越深越好)的信念:網絡層數的加深會讓網絡的表達能力和抽象能力也會提高;而另一方面,層數的加深也大幅提高了可供調整的參數的數量,調整的自由度也越大。換言之,神經網絡的層數的增加可以在一定程度上彌補網絡結構精巧性的不足,這也使得「調參俠」和「煉丹師」的隊伍進一步擴大——正如李沐所說,假設你在使用卷積神經網絡,有一半的可能性就是在使用ResNet 或它的變種。

但神經網絡複雜性的增加的同時也隨之帶來一系列的問題,如梯度消失/梯度爆炸、過擬合問題、退化問題等。ResNet所解決的正是深度神經網絡訓練的「退化問題」,使得訓練深度神經網絡成為可能。

如果做個類比,在神經網絡中加入隱藏層,解決了著名的「單層神經網絡為啥擬合不了XOR函數」是神經網絡從0到1的突破,AlexNet是從1到10的突破,ResNet則是從10到100或者1000,甚至更多的突破。

此外,孫劍的Faster RCNN、Spatial pyramid pooling、Single Image Haze Removal Using Dark Channel Prior、ShuffleNet等代表性研究也在計算機視覺的諸多領域做出了傑出的貢獻。

為了不曾忘卻的紀念

我們始終相信一句話:紀念,是為了不曾忘卻。

在今天凌晨的CVPR 2022開幕式上,我們欣慰地看到大會增加了一個簡短的紀念孫劍博士的環節。孫劍是CVPR社區的活躍者,並曾兩次獲得CVPR的最佳論文。或許個人的痕跡或許終會被時間撫平,但他的智慧將成為世界的一部分。

子曰:君子疾沒世而名不稱焉。傳名於後世,是對於人生的激勵;在歷史浩瀚的長河中,唯有推動了歷史進步、給世界留下了痕跡的那些東西,才會真正的存在下去。

今天,我們推出孫劍博士的紀念專題,追思孫劍博士的生平,緬懷孫劍博士的貢獻,追思人生點滴,學習其學術思想,並將其發揚。

本期紀念專題分為四個部分:

  • 生平與貢獻。在本文中我們已經做了簡要的總結,若有不當之處,敬請原諒。
  • 研究解讀。對於無數人工智慧研究者來說,孫劍是他們成長路上的良師益友;我們選取了孫劍博士最具代表性的研究解讀,也希望更多人如同孫劍的學生張祥雨在紀念孫劍時所說的,接過衣缽,砥礪前行。
  • 懷念文章。我們最初曾考慮向孫劍的親朋好友們進行約稿,回憶與孫劍博士的點滴片段。但綜合考慮後,我們還是決定改為將親朋好友們已寫好或發布的緬懷文章進行匯總;
  • 演講整理。包含孫劍的研究理念、前沿研究成果及學術與產業化的思考等。

作為文字工作者,我們相信文字的力量。將孫劍博士的研究解讀、懷念文章和演講整理匯總於此,是我們能想到的對孫劍博士最好的紀念;也希望後來者以此對照自己,見賢,思齊;並沿著前人開拓的道路,既往,開來。

研究與解讀

殘差網絡解決了什麼,為什麼有效?

懷念與追憶

R.I.P, Jian. We already miss you. 憶孫劍 Rest In Peace!ResNet In Use!| 學術人生

孫劍親自撰文:我在 Face++ 的這半年

演講整理

2016 孫劍:登上「人工智慧之月」,我們爬樹還是造火箭?

2017 孫劍:如何在大公司和創業公司做好計算機視覺研究

GAIR 2017|孫劍:計算視覺的革命與挑戰

CVPR 2018 曠視「鹽城湖AI之夜」|孫劍致辭

GAIR 2018|孫劍:如何打造雲、端、芯上的視覺計算

2018 孫劍:物體檢測中很難用函數逼近去解決的幾大問題

孫劍:「吾將上下而求索」 | 二十一世紀計算

GAIR 2019|孫劍:深度學習視覺變革視覺計算

2019 新一代人工智慧院士高峰論壇|孫劍:視覺計算的前沿進展

2020 孫劍 :視覺計算的前沿進展

推薦閱讀

曠視首席科學家孫劍:深度學習變革視覺計算丨CCF-GAIR 2019 2019-07-18

曠視科技首席科學家孫劍:如何打造雲、端、芯上的視覺計算 | CCF-GAIR 2018 2018-07-05

權龍、孫劍、林達華的視覺求索丨CCF-GAIR 2019 2019-07-05

CV大咖齊聚於此,追憶一代宗師Thomas S. Huang為人、為師、為學| CCF-GAIR 2020 2020-08-09

文章來源: https://twgreatdaily.com/1540167d5da05e27d681a696f8f2f2a4.html