芯東西（公眾號：aichip001）
作者 | ZeR0
編輯 | 漠影
抓拍出不模糊的移動物體照片，從晶片的角度來實現，難度有多高？
用事件視覺技術將抓拍照片變清晰（圖源：Prophesee）
從硬體來說，增加一顆傳感器，足夠做到。
不僅讓攝影設備高效捕捉到清晰畫面，模擬人眼的事件視覺傳感器，還能大幅降低算力需求和功耗，並且不受光線的影響。
一家法國創企普諾飛思（Prophesee），在探索這個突破性方向的道路上，已經堅持了9年。
它是歐盟獲融資最雄厚的無晶圓廠（Fabless）半導體初創公司，擁有堪稱豪華的投資陣容，包括英特爾投資、博世創投、雷諾集團、小米、韋爾股份、創新工場、韋豪創芯等。
今年10月，Prophesee推出業界首款專為超低功耗邊緣視覺設備集成設計的Metavision事件視覺傳感器GenX320，進一步改變機器看世界的方式。
近日，Prophesee聯合創始人兼CEO盧卡·維雷（Luca Verre）接受芯東西的專訪，並分享說，在相關知識儲備、經驗積累、現有IP數量（50多項國際專利）上，Prophesee都具有顯著優勢。
Prophesee聯合創始人兼CEO盧卡·維雷（圖源：Prophesee）
他告訴芯東西，Prophesee目前專注於將其創造的價值最大化，暫不考慮IPO或併購，接下來其路線圖將主要包括兩大方向：
一是提高解析度，在晶片內部增加更多的像素，以覆蓋更多需要高解析度的應用場景，例如汽車、安防監控、工業自動化、手機等等。
二是縮小晶片體積，以滿足一些對成本效益以及晶片尺寸要求更高的應用，例如物聯網設備、平板電腦、筆記本電腦或AR/VR頭顯等設備。
除此之外，目前計算機視覺領域正探索讓傳感和圖像處理更接近處理器，將儘可能多的智能放在圖像傳感器上或接近它。
軟體是Prophesee的重要資產和重點投入方向。盧卡說，這將帶動市場對事件視覺傳感技術的接受度和採用度提升。
一、受人類視覺機制啟發，改變機器看世界的方法
人類用眼睛來看世界，機器則通過圖像傳感器。
傳統圖像傳感器通常基於幀，以固定幀率一幀一幀地輸出靜態圖像。由於人眼看物體存在視覺暫留現象，每秒顯示的靜態圖像數量足夠多時，人眼就會看成連貫的動態影像。
人眼視覺成像機制繪圖（圖源：Prophesee）
也就是說，在記錄變化的影像時，圖像傳感器需要通過拍攝一系列圖像來實現。
這帶來一些難解的問題：
首先是圖像場景變化越快、拍攝的圖越多，數據越多，消耗的算力和能量也就越多；其次當光線條件不理想，比如曝光過度或曝光不足時，不能適應明暗突變情況，容易拍出糊圖。
基於幀與基於事件的傳感器對比（圖源：Prophesee）
事件視覺傳感器的不同之處在於，不會記錄整個畫面的靜態背景信息，只記錄動態信息。
高爾夫球手揮桿過程，其身後的天空、樹木、草地等背景信息不變（圖源：Prophesee）
就像人眼細胞檢測到場景發生變化（即事件）時才會向大腦報告，事件視覺傳感器上的像素以異步方式捕獲事件數據，每個像素都嵌入了智能處理，能在檢測到變化時獨立激活，將事件連續地、逐像素地發送到系統。運動被捕獲為連續的信息流，幀之間不會丟失任何內容。
事件視覺傳感器每個像素獨立且異構（圖源：Prophesee）
通過模擬人眼視覺機制的方法，模擬處理的數據量驟減，所需的算力和能耗也顯著減少，並能對場景中微小變化進行超快速反應，捕捉到亞毫秒級轉瞬即逝的瞬間。
拍出糊圖通常是快門速度太慢或被拍攝對象運動太快導致的。而事件視覺傳感器每當檢測出照明變化時，每個像素獨立觸發連續的事件流，不存在曝光影響，因此能有效解決攝影模糊問題。
傳統圖像傳感器與事件視覺傳感器機制對比（圖源：Prophesee）
此前Prophesee研發的事件視覺傳感器已經被應用在手機端，用於提高後置主攝的攝影質量；用在AR/VR/XR頭顯中，優化注視點渲染或無縫交互的高速眼動追蹤、手勢識別；或是在電視、PC（個人電腦）、遊戲機及智能家居設備中實現低延遲、無接觸的人機互動介面。
基於事件視覺傳感器的下一代眼動追蹤功能演示（圖源：ZinnLabs）
在超低功耗always-on區域監控系統、家庭物聯網及醫療設備中，事件視覺傳感器可用於檢測跌倒的攝像頭，或是智能存在檢測和人數統計。
Prophesee聯合創始人兼CEO盧卡·維雷認為事件視覺傳感器正處於快速發展階段，索尼、小米、高通、英特爾等大型科技及晶片公司逐漸看到神經擬態事件視覺傳感技術的潛力，並正與Prophesee合作，共同推動這項技術及相關生態的發展。
為了更好滿足消費電子設備和嵌入式邊緣視覺系統對有限能源、計算和尺寸的需求，Prophesee還在持續探索如何將傳感器做得更小，使其在極具挑戰性的操作和極端苛刻的照明條件下以更低的功耗提供穩定、高速的視覺感知。
二、業界最小事件視覺傳感器：超低功耗，兼容主流AI晶片
今年10月，Prophesee推出其第五代Metavision傳感器產品GenX320，裸片尺寸只有3x4mm，是目前業界最小且最節能的事件視覺傳感器。
其像素尺寸為6.3 x 6.3μm，解析度為320 x 320Px，且數據格式靈活，能捕捉到超快速和轉瞬即逝的場景動態變化，自動適應低光強度和高光強度，在極端照明條件下也能精準捕捉事件。
美國創企Zinn Labs正在基於GenX320開發發新一代視線跟蹤系統。據其創始人兼CEO凱文·波義耳（Kevin Boyle）分享，GenX320的更小封裝尺寸「使得事件視覺傳感器能夠首次應用於空間有限的AR/VR頭顯設備中」。
實現這些進步，主要有3個方面的技術難點：
首先是先進的製造工藝技術，以製造足夠小的晶片，以便能搭載於大眾消費設備中。Prophesee與一家歐洲的代工廠合作，由代工廠提供先進的背照式（BSI）3D堆疊技術，以便把兩片晶圓（上面一層收集光信息，下面一層搭載智能像素）堆疊到一個設備里，從而顯著減小傳感器尺寸。
除了提高製程工藝外，Prophesee縮小尺寸的策略還包括降低解析度，減少像素數量，因為邊緣智能設備並不需要很高的解析度。
其次是在晶片內部開發超低功耗的電源管理模式，以增強其技術在超級功耗方面的優勢。
Metavision傳感器生成的數據平均只有傳統圖像傳感器的1/1000~1/10，再加上基於像素獨立性和片上智能電源管理模式，GenX320功耗僅為36uW，典型工作功耗為3mW，支持智能喚醒事件，同時支持深度睡眠和待機模式。
三是為了實現與主流人工智慧（AI）加速器更好的集成，Prophesee在晶片內部開發了一些數字化處理功能，能夠幫助其將事件視覺傳感器收集到的數據與當前主流的AI加速器實現兼容。
當前主流AI加速器以處理圖像信息為主，由傳統圖像傳感器收集到大小固定、基於幀的圖像，圖像數據是同步且可預測的。
而事件視覺傳感器收集的事件數據是異步且稀疏的，GenX320會對事件數據進行一些處理，讓它更接近大小固定、時間固定的、可預測的數據流，進而使得AI加速器處理數據更輕鬆。
傳統圖像傳感器與事件視覺傳感器捕捉數據對比（圖源：Prophesee）
盧卡很看好神經擬態技術在邊緣設備中的應用，認為這將逐漸覆蓋傳感器、信息處理及計算單元，未來會有更多AI功能會集成到傳感器內部。他也對不同設備上的多傳感器融合也很感興趣。
GenX320能與標準SoC輕鬆集成/連接，有多個集成事件數據預處理、過濾和格式化功能，可最大程度減少外部處理開銷。
另外，由於事件視覺傳感器具有稀疏無框事件數據以及靜態場景去除功能，不會捕捉圖像信息，因此GenX320能從傳感器層面保護隱私。美國最大技術許可公司Xperi的CTO Petronel Bigioi認為，Prophesee的事件視覺技術將「隱私設計」原則提升至更安全的水平。
戴上眼鏡/口罩前後下的姿勢、目光檢測演示（圖源：Xperi）
三、軟體套件即插即用，免費提供近百種算法
盧卡告訴芯東西，軟體將是Prophesee重點投入的方向。
在Prophesee，工程師團隊具備的技能可分為兩個方面：一是晶片設計，包括模擬和數字IC設計；二是AI，包括AI和計算機視覺方面的專長。
Prophesee會與客戶的工程師團隊就軟體、計算機視覺、AI等進行交流，根據客戶需求來開發一些新的應用。這個過程中的一大挑戰在於，從客戶的角度來講，其工程師團隊可能更加習慣於使用傳統的技術或解決方案，對於事件視覺傳感器或者是對於神經擬態的生態沒有那麼熟悉。
為了幫助客戶彌補這些技術或知識空白，Prophesee會提供與其事件傳感器兼容的軟體工具支持。
「當我們開發應用，特別是一些AI和機器學習方面的應用，機器的工作負載很大，包括生成數據、收集數據、標記數據等等。這時候，軟體可以幫助你實現更輕鬆的開發。」盧卡解釋說。
基於事件視覺傳感器的手勢識別選擇商品演示（圖源：Ultraleap）
最新推出的GenX320配套了一整套開發工具，包括裝有板載晶片（COB）GenX320模塊或緊湊型光學柔性模塊的綜合評估套件。Prophesee還提供一系列可無縫連接到各種嵌入式平台的適配器套件，從而縮短產品上市時間。
PropheseeMetavision Intelligence是當前業界最全面的免費事件視覺軟體套件，在全球擁有超過10000名用戶。該軟體套件相當於架起了一座連接神經擬態世界和傳統解決方案之間的橋樑，提供近百種算法、豐富的數據集和AI模塊，幾乎即插即用，還支持開源，同時提供95種算法、79個代碼示例、24個教程，能夠很好地幫助客戶認識並理解這項技術，並實現快速部署與應用。
如果以10分為滿分，盧卡認為Metavision Intelligence當前的好用程度可以打8分。
在他看來，只有當技術能夠得到市場廣泛認可和採用時，才更進一步賦能客戶，降低他們選擇使用事件視覺傳感技術的成本和難度，為整個行業生態創造更多的價值。
傳統圖像傳感器與事件視覺傳感器捕捉車前場景數據的對比（圖源：Prophesee）
四、對中國市場增長充滿信心，將持續增加投入
Prophesee於2014年法國巴黎成立，其聯合創始人兼CTO克里斯多福·波什（Christoph Posch）自2000年初就開始從事神經擬態技術相關研究，至今已有20多年造詣。
其公司戰略立足全球，當前擁有100多位科研人員，占總員工人數的約87%，研發主力在法國巴黎和格勒諾布爾，在中國、日本和美國均開設有辦公室，不斷全球各地區市場的業務。
在整個研發過程中，Prophesee需要考慮到不同地區、不同市場客戶的需求，因此當地團隊會與客戶密切溝通，了解他們當下和未來幾年的產品規劃及需求，然而反饋給研發人員，從而及時調整或提前規劃Prophesee新產品的路線圖。
根據市場研究公司Yole的數據，神經形態傳感市場在2025~2030年間將以116%的復合年增長率增長，到2030年將達50億美元。Yole的《2021年神經擬態計算和傳感報告》顯示，移動、工業和新興市場將是主要的神經擬態市場領域。
事件視覺傳感器的一些應用領域（圖源：Prophesee）
「中國一直是我們重點關注的市場。我也始終相信，任何一家具有全球視野的企業，都應該重視中國市場的戰略地位。」盧卡談道。
他告訴芯東西，Prophesee的中國團隊有15人，負責推動相關生態的建設，並為本地合作夥伴與客戶提供相關的技術支持。
在中國，Prophesee看到越來越多的客戶對其產品和技術表示感興趣，特別是在物聯網設備以及消費電子領域，很多客戶在尋找更具成本效益的傳感設備或解決方案。
一個應用案例是Prophesee和中國台灣公司YunX的合作。YunX基於Prophesee事件視覺傳感技術開發了一款智能攝像頭，能用在檢測到家中老人或者醫院病患跌倒時觸發警報。
在盧卡看來，中國是全球最大的半導體生產和消費市場，也是全球智慧型手機以及電動汽車領先的生產和消費市場，半導體領域的風投金額同樣遙遙領先於世界其他地區，越來越多的資源正在進入這個市場，推動本土生態及供應鏈建設。
「我們對中國市場的增長充滿信心。未來我們也會不斷增加對中國市場的投入。」盧卡說。
結語：新興應用需求大漲，未來發展空間廣闊
據盧卡觀察，過去10年，傳統圖像傳感成像方式似乎沒有出現突破性發展，更多變化在於邊緣AI的興起以及ToF、3D傳感、紅外傳感模式的雷射雷達、事件視覺傳感等新興傳感方式。
近年來，自動駕駛、AR/VR、機器人、智慧型手機、物聯網及邊緣AI領域出現了越來越多的新興應用，需要新的解決方案，這使得他對事件視覺傳感技術未來巨大的發展空間很有信心。
盧卡希望Prophesee的神經擬態事件視覺技術可以啟發和鼓勵到更多的企業家、工程師們，共同推動並實現提高人們生活質量的願景，譬如更安全、更智能的自動駕駛汽車，更智能的家居攝像頭，或是在醫療領域幫助失明人士重見光明、提高醫療設備的診斷能力等等。