IEEE Fellow 楊錚：打破「視覺」壟斷，無線信號為 AI 開啟「新感官」

楊錚師從國內物聯網先驅劉雲浩，看似與人工智慧無關，但巧合的是，他所研究的方向正是物聯網與人工智慧的交叉一支——智能無線感知。2021年他被IEEE選為Fellow的原因，也正是其在智能無線感知上的貢獻。

圍繞著「智能無線感知」，AI掘金志與楊錚教授進行了深入探討，發現了該方向的許多有趣的點。

換言之，無線感知為智能帶來了視覺以外的新「感官」。

此外，無線感知的許多研究也是當前火熱的「元宇宙」的技術基礎。比如，楊錚團隊近期提出的工作FollowUpAR，就將無線感知技術與混合現實技術進行深度融合，幫助AR應用在移動目標上渲染連續、流暢的立體特效，堪稱智能無線感知賦能元宇宙的一個典型案例。

基於射頻信號的無線感知究竟是「何方神聖」？

「知」與「智」

從古至今，人類對「真理」的追求，都可以概括為從對物理世界的「知」到掌握萬物規律的「智」。

然而，基於有限的認知條件，人在實現「智」的過程中常常遇到挑戰。在《理想國》一書中，柏拉圖就曾用「洞穴寓言」形容人類認識世界的局限性：一束光照進洞穴，將外界的事物投影在洞壁上，洞穴里的人只能通過投影去觀察外面的世界。

圖註：柏拉圖的「洞穴寓言」實

後來，隨著現代文明的推進，儘管人類對物理世界的感知方式有了科技的輔助，得以打破主觀認識的局限性，經歷了傳感器、無線傳感器與傳感網等多個階段的演變，但要實現一個萬物智聯的「泛在智能」時代，也仍有漫漫長路。而這，正是智能無線感知的目標。

「事實上，早在兩千多年前，我國思想家荀子就已在《正名篇》中討論過人類感知與智能之間的關係——『知之在人者謂之知，知有所合者謂之智』。但荀子他老人家肯定沒預料到，有一天『知』與『智』會結合起來，並且從『人』延伸到『物』。」楊錚布道。

簡單來說， 無線感知是一種利用泛在無線信號來實現場景感知的技術。

這些「泛在無線信號」來自於我們身邊所部署的各種無線設備，包括Wi-Fi熱點、藍牙、RFID等，不僅可以傳輸數據、完成本職任務（如通信），還可以「額外」用來感知環境， 因為信號發射機產生的無線電波經由直射、反射、散射等多條路徑傳播，在信號接收機處形成的多徑疊加信號攜帶了反映環境特徵的信息。

儘管這些無線射頻信號無法被眼睛直接感受到，但卻可以被無線通信收發機捕捉，成為視覺之外感知物聯世界的「新器官」。

以基於射頻信號的跌倒檢測為例。 人們在跌倒的時候，會引起無線信號傳播路徑的變化，從而影響到接收的無線信號。無線感知技術通過提取相應的特徵，分析無線信號在播過程中的變化，藉助分類算法總結出跌倒與其它活動所導致的無線信號變化的差異，判斷環境中是否有跌倒動作發生，從而實現跌倒檢測。

圖註：Wi-Fi信號可視化

也就是說，無線感知就是現代科學家「隔空打牛」的秘密武器。

「所以大家以後在密謀壞事時，除了關好門、拉好窗簾，檢查桌子底下有沒有竊聽器，也不要忘記把Wi-Fi關掉哈哈。」楊錚笑道。

通過分析接收信號特徵，獲得信號傳播空間的特性，無線感知技術無需部署專用的傳感器就可以實現對人與環境的感知，具備 感知範圍廣、維護易、普適性強等優勢，已成為過去幾年物聯網領域的研究熱點，湧現出大批研究成果。

但事實上，利用專用的無線射頻信號進行環境的探測和探知並不是一個特別新鮮的概念。 早在二戰之前、雷達出現後，人們就已經開始在軍事領域利用聲吶、射頻信號對待測區域內的目標進行感知。戰後數十年來，雷達也逐漸從軍用走向民用，出現了氣象雷達、測速雷達、地形跟蹤雷達等多種不同功能的雷達。

那麼，無線感知技術在今天為何仍能吸引國內外的一眾科學家投身其中呢？近年來，全球研究者在無線感知領域陸續提出了一系列矚目的新成果，如UW的WiSee、MIIT的WiTrack、UCL的Phaser等等。包括美國、英國在內的多個已開發國家也都將無線感知列為重點支持的方向。

楊錚的觀點是，儘管利用無線信號來實現感知的概念並不新鮮， 但從「泛在性」與「普適性」這兩個維度來看，利用商用通信技術實現泛在智能感知仍處於起步階段，給許多研究者提供了更多的可能性。

2000年是一個分水嶺。彼時，各式各樣的無線通信技術蓬勃發展。就拿Wi-Fi來說，從21世初開始， Wi-Fi接入點的數量可以稱得上是「爆炸式增長」，如今幾乎各家各戶、各類室內場所都部署了Wi-Fi接入點。

「我認為這是對『泛在無線感知』的最大利好，也是最堅實的研究基礎。」楊錚談道，「特別是隨著 802.11n/ac/ax 這一眾標準的演進，商用設備的天線數量越來越多，頻譜寬度越來越大，這也讓我們對泛在無線感知以及通信感知一體化的前景抱有更大的信心。」

在某個意義上， 物聯網是解決「泛在感知」的問題，而人工智慧是解決「普適智能」的問題，2019年風靡一時的概念「AIoT」便是兩者的結合。

人們普遍相信， 物聯網與人工智慧技術將共同推動人類社會從「萬物互聯」走向「萬物智聯」。只是不同於以往，這一潮流由工業界率先預見並引領，比如，華為提出「構建萬物互聯的智能世界」，小米將「AIoT」作為核心戰略，BAT等網際網路公司也列出相似願景。

作為物聯網與人工智慧的交叉領域，無線感知正反映了這一趨勢，成為當前學術界研究和工業界追尋的熱點。

智能無線感知的發展

當前，國內無線感知的發展呈現出兩大特徵與趨勢：

2） 落地化趨勢越來越明顯，無線感知正從實驗室理論研究走向家庭的日常應用。據楊錚觀察，近段時間，工業界對非傳感器感知也越來越重視，各種基於非傳感器感知的應用平台在逐漸開發，呈現出各類相關應用正邁向「千家萬戶」的特徵。

智能無線感知的應用場景非常廣泛，覆蓋安防、醫療、人機互動甚至元宇宙等領域。其中， 醫療監護是楊錚最看好的應用方向，包括非接觸性心跳、呼吸監測，以及跌倒檢測等。

尤其是跌倒檢測（如蘋果的Apple Watch 4增加該功能）：「隨著人口老齡化的現象越來越嚴重，很多老年人獨自生活。日常調查發現， 跌倒是導致老年人受傷的主要原因之一，嚴重時跌倒甚至能夠危及生命。所以說，研究一套可靠的跌倒檢測機制，對於老年人來說顯得非常重要。」

圖註：非傳感器感知的三大挑戰

從 特徵部分來說，由於無線信號包含了信道傳播空間的信息，已有的大部分工作提取的信號特徵均依賴於系統部署的具體環境。因此，不同的使用環境、不同的用戶，甚至同一用戶的不同位置和不同朝向等都會降低感知的準確率。針對新的場景，大部分工作需要重新採集數據進行訓練，使得無線感知普適性差、學習訓練成本高，系統的泛化能力受到較大的影響。

從 模型部分來說，已有的大多數模型基於對無線信號傳播的以及硬體條件的完美假設，但在實際部署場景中，無線信號的實際傳播包含有衍射、散射、非鏡面反射等多種情況，商用的網卡通常也包含有大量噪聲，不同網卡之間的特性有著較大的差別。對無線信號的傳播模式、誤差消除等系統性建模的缺失，使得無線感知系統的運行結果與理論預期之間仍存在著一定的差異。

從 數據集方面來說，由於無線感知方面的數據集採集費時費力，不同的團隊採集的數據存在著採集硬體、場景等多方面的差異，這也阻礙了本領域基礎數據集的公開與共享，研究的數據量不足、應用場景較少，影響了本領域的技術分析與進步。

要解決上述問題，任重道遠。

楊錚的研究之旅

作為國內少數率先研究無線感知結合的青年學者之一，楊錚的研究之旅始於2012。彼時，他剛從香港科技大學取得計算機博士學位不到兩年，回到清華大學任教，是一名資歷不深的「青椒」。

從博士開始，楊錚就一直從事物聯網方面的研究，包括智能感知、工業網際網路、邊緣計算與區塊鏈等。當時，他的博士導師是國內物聯網的先驅學者劉雲浩 。劉雲浩是ACM與IEEE雙Fellow、ACM主席獎首位華人獲得者，2020年暑假，他曾萬字答覆清華學子2000個關於人工智慧的問題 ，被清華官方「點名」，走紅網絡。

圖註：2007年博士期間，楊錚（左）與博士導師劉雲浩（右）合影

「在我剛開始博士生涯（2006年）時，業界研究的一個熱點其實是無線傳感網。」楊錚對 AI掘金志回憶道。

無線傳感網可以被理解為如今物聯網的雛形，它通過無線通信技術（如藍牙、ZigBee等等）來實現傳感器節點之間的信息交互， 但是感知的任務需要交給各類專用的傳感器設備來完成。顯然，這必然就限制了無線傳感網的靈活性。

「部署無線傳感網其實是一個特別費時費力的過程，不僅要保障傳感器節點本身的感知功能，還要保障它們點對點之間的通信性能。所以我在博士研究期間，每次做實驗，僅僅是部署實驗設備就要下很大一番功夫。」

在當時，他就希望探索一種更加泛在、普適的感知方式，降低系統部署的人力成本與設備開銷。

大約在2010年前後，他開始關注一些使用無線信號進行定位的工作。這種「非傳感器感知」的模式，不依賴任何專用的傳感設備，只使用收發機設備，通過解析信號特徵，就能進行室內的設備定位。相比無線傳感網，部署成本更低、普適性更強，更容易推廣，吸引了楊錚繼續研究下去。

圖註：楊錚剛到清華任教時

針對上述這三大挑戰（特徵、算法與數據），楊錚團隊在Widar系列（尤其是Widar3.0）中提出了自己的解決方案。

對於無線信號特徵，楊錚團隊的研究思路集中在兩點： 多維特徵融合與提取環境無依賴的信號特徵。

「多維特徵融合指的是，綜合使用信號衰減、到達角度（AoA）、飛行時間（ToF）、都卜勒頻偏（DFS）等多種信號特性，更加準確地完成無線定位與感知的任務。

Widar3.0 論文地址：http://tns.thss.tsinghua.edu.cn/~yangzheng/papers/Zheng-Widar3-MobiSys2019.pdf

模型方面，楊錚主要在 Widar3.0 中借鑑了深度神經網絡（DNN）模型的方法。

「深度學習浪潮的興起，給無線感知領域也帶來了很大啟發。近幾年來，不少工作都嘗試將無線信號以矩陣或張量的形式，輸入到現有的一些分類模型中，來嘗試獲得更好的結果， 但是並沒有針對無線信號獨有的特性對模型進行更加合理的設計。」

因此，楊錚與團隊在Widar3.0中提出了經過一定設計的、能夠充分挖掘無線的空間與時間維度特徵的卷積與循環結構。

此外，在Widar3.0中，基於信號時間相關性與時頻變換原理設計的網絡結構，也有助於提升模型的訓練速度與精度。總之，Widar3.0在特徵與模型這兩個層面上，有效改良了智能無線感知系統的設計。

• Widar3.0的數據集地址：http://tns.thss.tsinghua.edu.cn/widar3.0

「我們希望能夠通過（開源）這種方式，來支持研究者們在無線感知領域做出更多創新性的工作，為無線感知領域的發展貢獻一點綿薄之力。」楊錚談道。

構建數據集是一個大工程。楊錚清醒地認識到，在大數據時代，僅靠自己一個團隊人工採集數據，是無法支撐龐大的感知應用的。因此，研究者仍需調動更多的力量，使用更多技術手段來擴充感知數據集。

在這方面，楊錚有「三把斧」：

首先，他們 基於統計電磁場模型與射線追蹤模型，開發了一個物理層級別的無線信號仿真器，將仿真數據作為真實數據的補充，以期解決訓練數據不足、特定環境中數據難採集的問題。

在此基礎上，他們也正在嘗試採用 生成式對抗網絡（GAN）的架構，使用已採集的真實數據訓練一個鑑別器，並基於上述仿真器開發一個無線信號生成器，通過對抗學習，生成「以假亂真」的感知數據，以有效擴充數據量。

最後，他們還準備參考數據挖掘等領域的採集方式，採用「眾包」等策略，鼓勵用戶們使用家庭中的網絡設備，實際採集大量的無線信號數據以供研究使用。在此過程中，用戶可以獲取一定的資金作為激勵。

但個人的力量總是有限的。眾人拾柴火焰高，楊錚呼籲大家能夠積極參與感知數據集的開源工作，通過開放共享的形式，推動感知數據集的規模擴充。

人工智慧與感知的「聯姻」

在物聯網上，楊錚的兩大研究方向分別是智能感知與工業互聯。他解釋：

「智能感知是通過分析視覺、射頻、聲光等信號的特徵，應用人工智慧技術來挖掘物理世界的狀態或發生的事情，實現泛在感知與泛在智能。而工業互聯針對工業生產場景，提出控制即服務的工業網絡架構，研發具有確定性、低時延的時間敏感網絡，將信息（IT）網絡與生產（OT）網絡合二為一，實現控制任務的服務化，支撐未來智能柔性生產。」

那麼，在智能無線感知中，基於機器學習、深度學習與對抗學習的算法能夠扮演什麼角色？研究者又是如何將 AI 算法與無線感知結合在一起的？

「這個問題特別好，這也是我們團隊近年來一直在思考的問題。首先，無線感知拓展了人工智慧的『視野』，增加了多一個維度的感知信息。」楊錚談道。

在過去的十年里，楊錚與團隊嘗試了很多機器學習模型來幫助構建更加智能、魯棒的無線感知系統。

WiDance論文連結：http://tns.thss.tsinghua.edu.cn/~yangzheng/papers/Qian-WiDance-CHI2017.pdf

「所以我一直以來的感受就是： 感知、智能本來就應該是一體的。包括機器學習在內的各類智能算法，負責分析數據、給出結果，而物聯網中的各類傳感設備（既包括視覺感知也包括無線感知），則為智能算法提供基礎的數據支持，它們從物理世界中實時地獲取數據，並將處理後的結果反作用回物理世界之中。」楊錚對 AI掘金志評論道。

一方面，無線感知向人工智慧在視覺中的應用來「取經」；另一方面，無線感知也對神經網絡的設計起到一定的啟發作用。比如，楊錚就提到，在無線感知中，一些針對信號處理的經驗，也能夠指導我們進行更加高效、合理的神經網絡設計：

由於感知與智能的緊密關係，將人工智慧（尤其是深度學習）與物聯網領域的研究相結合已成為主流的研究方式。近年來，發表在頂級會議的無線感知論文，結合了深度學習技術的工作占據了「半壁江山」。

儘管身處物聯網圈，但楊錚時刻關注人工智慧（尤其是深度學習）的最近進展，尋找它們和自己工作之間的共性，也多次從中找到了新的科研機會。

楊錚坦言：「挑戰當然也是有的。 大多數模型一開始被提出都是被用於計算機視覺或自然語言處理領域，因此，將這些方案靈活地遷移應用到自己的研究領域，不僅需要我們對自己的研究領域有深刻的理解，也需要吃透各類神經網絡設計哲學，才能避免『生搬硬套』。」

「更大的機會在於 ，無線感知作為視覺之外的感知方式，目前還沒有得到人工智慧方向的重視。」

在同一類應用上，與視覺相比，無線感知有時會取得更出色的表現。

就拿跌倒檢測來說。目前常見的跌倒檢測技術包括計算機視覺、可穿戴傳感器以及專用的雷達硬體。楊錚指出，這些技術都存在一定的缺陷： 計算機視覺容易涉及用戶隱私，並且通常只能在光照條件良好的情況下才能工作；可穿戴的傳感器需要佩戴特定的設備，對於老年人來說使用起來十分不方便；而大規模部署特定的硬體又需要較高的成本。

在這類場景中，與計算機視覺等技術相比，基於非傳感器的感知就體現出了自己的獨特優勢：例如，Wi-Fi 感知便不受上述條件的限制，為跌倒檢測提供了一個新的思路。目前， 幾乎家家戶戶都部署了Wi-Fi設備，無需部署新的硬體設備；基於Wi-Fi的感知不需要用戶佩戴特定的設備，在無光照的條件下也可正常工作；它採集的無線信號信息也不會干擾用戶的隱私。

而問及未來智能無線感知的技術發展更多取決於人工智慧還是4G/5G等通信技術的進步，楊錚的回答是「兩類技術都十分重要，它們會在兩個不同的方面影響未來智能無線感知技術的發展」。

具體來講，新一代的無線通信技術對於MIMO和Beamforming等新型技術的支持，在客觀上為我們提供了更多的天線、更加細粒度的角度探測方法，同時新的通信技術一般都會通過更寬的頻帶以支持更高的通信速率，這也為距離解析度的提升提供了一個最基礎支持。

以深度學習為代表的人工智慧技術，則充分挖掘了無線信號中更多的隱藏特徵，對於系統的感知能力同樣有著很大的提升。

所以說，4G/5G等通信技術的演進，提供了更多有效的信息，而人工智慧技術的演進，則為信息的挖掘和處理提供了更多更有力的手段，二者的進步，共同推動了智能無線感知領域的繁榮。

無線感知的未來在於「泛化」

2021年，基於其在無線感知與定位方面的貢獻，楊錚當選2022年IEEE Fellow，是同年入選的華人學者中最年輕的一位，年僅38歲。

在智能感知上，楊錚的科研規劃集中在兩大塊， 一是基於無線信號的神經網絡算法設計，二是推動無線感知商用化。

儘管人工智慧對無線感知的研究起到了重大的啟發作用，但要將面向機器視覺的人工智慧模型遷移到無線感知也是極其困難的。

當前的深度學習模型大多是基於圖像數據、語言數據而定製的模型，如CNN、RNN。然而，無線感知中的射頻信號相比於圖像、語言，有自己的特點： 其包含有時間、空間、頻率等多維度的信息，數據大多為複數類型。

正是由於射頻數據與已有的網絡模型之間的差異，使得目前深度學習模型在無線感知領域仍然沒有發揮出它最大的作用。所以，楊錚的想法是針對無線信號的特點，設計專用於無線信號的深度網絡，使無線信號和深度模型實現更深層次的耦合，這樣才能充分利用人工智慧工具。

此外，目前的無線感知技術大多還停留在實驗階段，真正實現商用化的技術並不多。目前工業界對醫療健康的關注在上升，無線感知應用於跌倒檢測的潛力也進入產學研三界的視線。楊錚與團隊也希望為此作出貢獻，設計出可靠的跌倒檢測系統，提高系統的魯棒性與泛化能力。

「我個人認為 智能無線感知進一步發展的關鍵正是在於其場景泛化能力。更通俗地講，我們設計的無線感知系統，是否真的能夠像設想的一樣，可以被直接應用到千家萬戶中，支持各類的無線設備、適應不同的複雜環境呢？目前看來，我們是面臨著一些挑戰的。」

楊錚分析，要提高無線感知技術的泛化性，研究者仍需解決以下幾個問題：

首先，現有的 CSI 模型假設是否完美地符合實際場景尚未可知。過去很多年間，大多數研究者們都基於射線追蹤模型，將牆壁、障礙物等視為一個理想的反射面，電磁波信號會被牆壁完美地鏡面反射。這類假設雖然有一定的道理，但是在實際的複雜室內空間， 無線信號更趨向於散射而非鏡面反射，此外，無線信號的透射、衍射等效應均被不同程度上忽略了。所以，在某種意義上，無線感知的精度限制，正是來自於過於完美的假設。一個更加符合實際的、通用的信號傳播模型亟待構建。

另一方面， 一部分研究者習慣於藉助高靈活度的軟體定義無線電（SDR）設備進行研究和實驗，然而，當感知系統落地，用戶們實際只能使用商用網卡。商用網卡的非線性誤差、載波頻偏、包檢測延遲等實際因素不被解決的話，再好的感知系統設計也將成為「空中樓閣」。此外，不同網卡型號的誤差模式、誤差係數也有著非常大的差別，因此針對不同類型的無線設備，我們需要制定智能化、自動化的誤差校正和消除策略，才能保證智能感知系統的運行結果和我們預期當中一致。

最重要的是，科研人員在進行實驗時，往往只能在有限的幾類室內環境中採集數據進行訓練和測試。然而， 實際使用環境的複雜性和多樣性，往往大大超出訓練環境。這也是為什麼楊錚強調研究要從特徵、模型、數據等多個層次上增強系統的泛化性：特徵層面上可以設計環境無依賴的魯棒特徵；模型層面上可以嘗試使用域適應（domain adaptation）策略，借鑑域對抗（domain adversarial）網絡的思想，完成多類場景的快速遷移；數據層面上就要想方設法擴充數據集的多樣性。

「不過目前已經有很多研究者意識到這些問題了，並提出了不少可行的解決方案，所以我對我們智能無線感知領域的發展仍然是抱有十足的信心，相信在不久的將來，我們就能夠親眼見證智能無線感知系統的落地與應用。」楊錚笑道。

最後，楊錚老師正在招收博士後與博士生，對物聯網有興趣的同學可以給楊錚老師發郵件：[email protected]。

參考連結：

1.http://tns.thss.tsinghua.edu.cn/~yangzheng/

2.https://scholar.google.com/citations?user=ExRe-64AAAAJ

3.https://www.nwnu.edu.cn/2020/0708/c3842a145368/page.htm

4.https://cs.bit.edu.cn/xyxw/fc530c4af4c84ef8abb128c59966b6f1.htm

5.https://baijiahao.baidu.com/s?id=1658509271522706294&wfr=spider&for=pc

推薦閱讀

安防「缺芯」背後，一款好晶片的「自我修養」

AI 商業模式的脫靶、崩塌、救贖