（映維網Nweon 2023年11月28日）醫療衛生領域正在積極引入以微軟HoloLens為代表的混合現實技術，通過直接在用戶視場疊加逼真的數字信息來提高效率，降低成本和改善溝通等等。實際上，業界和學界在應用微軟HoloLens方面已經出現了一系列的案例。
在西班牙，西班牙巴利亞多利德大學和西班牙心血管疾病生物醫學網絡研究中心同樣展開了基於微軟HoloLens的醫學衛生+混合現實的研究實驗。具體來說，團隊探索了混合現實在實時超聲引導股動脈插管的應用。
團隊指出，這項研究的目標是將混合現實用於協助醫生進行複雜的心臟介入手術，特別是實時超聲引導股動脈插管。在微創治療複雜心臟疾病方面，介入心臟病學是最先進的領域之一，並涉及血管造影、超聲心動圖和基於計算機斷層掃描的圖像。所以，混合現實在這一領域的附加價值與增強態勢感知、集成多模態數據和提供免手作業系統介面特別相關。
通過探究這個用例，他們希望說明混合現實技術可以如何在臨床和外科手術過程中成功地支持從業者。
在實驗中，團隊開發了基於微軟HoloLens 2的混合現實系統，並希望幫助從業者進行實時超聲引導的股動脈插管。
對於這個手術過程，醫生在過去必須手持超聲掃描儀和穿刺針，並看著放置在病人身上的螢幕。儘管這是一種常見的手術，但它涉及到一種非常特殊的技術，所以需要從業者掌握非常具有挑戰性的技能。
所以，對於經驗不足的外科醫生而言，這種手術非常並不容易。其中，主要難點在於醫學圖像和相關信息的可視化，以及用於穿刺的針頭相對於血管的相對定位。
為了實現支持從業人員，西班牙巴利亞多利德大學和西班牙心血管疾病生物醫學網絡研究中心開發了一個基於微軟HoloLens的混合現實系統，目標是提高準確性，從而減少干預的時間和成本，以及潛在的相關風險。
考慮到醫院的工作條件和從業人員的技能和態度，團隊邀請了相關領域醫生參與了系統的設計，從而產生適合其需求的工具。
根據反饋，手術醫師和醫療管理人員提出的主要要求總結如下:
- 足夠的成本效益，可以納入公立醫院的日常外科實踐和程序。
- 足夠簡單，可以由經驗和技能水平尚淺的從業人員使用。
- 足夠可靠，可用於實時手術和干預，支持外科醫生在進行股動脈穿刺時提高準確性，並減少手術過程中消耗的時間。
考慮到上述前提，屯對提出了一個分為兩個模塊的系統，其中每個模塊都有特定的目標：（1）負責將醫學圖像發送到HoloLens 2的發送模塊；（2）託管在HoloLens 2中，負責渲染醫學圖像，將它們放置在特定的空間位置，並允許醫生在3D環境中查看和管理它們的接收模塊。
發送模塊在機器中負責承載視頻傳輸應用。這個本模塊的主要任務如下:
接收模塊位於HoloLens 2，並主要用於承載視頻接收應用程式：
首先，超聲波掃描儀從患者身上提取圖像，通過HDMI發送（必要時可以使用適配器進行輸出）。然後，視頻採集機通過HDMI IN口採集圖像，並通過HDMI OUT口傳輸到計算機。計算機處理圖像，將它們封裝在UDP數據報中，並通過廣播在與HoloLens 2共享的網絡傳輸。最後，HoloLens 2接收UDP數據報流，解封裝，並將其呈現在3D對象之上。
發送模塊駐留在計算機中，並負責如上所述的任務。為了實現這一點，計算機運行一個Unity應用程式，其中包括兩個主要軟體包AVPro Live和FMTEP。AVPro Live允許應用程式檢測HDMI輸入視頻流並將其渲染到Unity 3D場景中的平面。
FMTEP則使用所述平面捕獲視頻流，並將其封裝在UDP數據報中，通過本地網絡發送。綜上所述，AVPro Live允許應用程式檢測視頻並將視頻從視頻採集卡插入到FMTEP封裝傳輸系統，如圖2所示。
一旦計算機發送傳輸，路由器4G讀取UDP數據報的目的地。這意味著目的地是連接到路由器4G提供的網絡的每個設備。這使得HoloLens 2（接收器）無需手動配置IP即可輕鬆檢測和提取傳輸，因為每次設備離開本地網絡時，其IP都可用於其他設備。
最後，接收模塊有數個功能並行執行。一方面，它必須在平面呈現UDP數據報的內容，另一方面，它必須檢測二維碼並將平面定位在二位碼，如圖3所示。
然後，醫生可以將二維碼放置在目標區域，而圖像則會投影到這裡。因此，超聲圖像可以顯示在患者的正上方，並使用二維碼追蹤超聲掃描儀。
另外，醫生可以使用位於窗口頂部的按鈕鎖定平面位置（從而終止追蹤）。這使他們能夠方便地重新定位飛行到一個更合適的位置，只需簡單地通過手動抓取和移動它即可。當然，他們可以通過按相同的按鈕重新激活追蹤功能。
另一個需要考慮的問題是，儘管實時流式傳輸對於這種醫療實踐十分必要，但根據手術的重要性，在解析度和延遲之間找到平衡是非常關鍵。任何延遲都可能阻礙醫生有效執行穿刺的能力並危及患者的安全。
為了達到這個目的，團隊選擇了UDP。UDP是一種輕量級的、快速的協議，採用編碼簡化圖像數據傳輸。然而，更高的解析度需要傳輸更多的數據，這就影響了解析度至關重要的應用程式的連接穩定性。
為了應對這一挑戰並實現近乎實時的流體驗，對於任何給定的圖像解析度，將延遲保持在接近200毫秒至關重要。在本例中，對於640 × 480的圖像解析度（對於動脈穿刺的醫療實踐已經足夠），平均延遲達到200 ms，偶爾會出現250 ms左右的異常值，這主要是由於無線連接問題。
考慮到連接完整性的潛在不一致，為編碼、傳輸、解碼和呈現數據合併有效的邏輯十分關鍵。為了實現更高效的系統，團隊強烈建議利用計算機或筆記本電腦的計算能力，而不是給HoloLens 2增加處理需求的負擔。
圖4顯示了在實時超聲引導的股動脈插管中，使用發送模塊設置和系統的不同時刻圖片。
對於右上象限，醫生可以通過窗口右上角的按鈕手動將超聲掃描儀圖像固定在患者上方。左下象限則顯示系統輔助下的動脈穿刺。右下象限顯示了從縱切面上進入動脈的導向器
右上象限所示，醫生可能希望手動處理平面。在這個場景中，醫生把平面固定在病人身上。根據從業者建立的系統要求，有時候需要將平面重新分配到不同的地方。這個功能有助於在干預期間清理視野，或者根據不同的因素（如場景照明和背景紋理）將平面分配給對醫生更舒適的地方。
另外，圖4的右下和左下象限中顯示，在使用系統時，介入心臟病專家可以遵循穿刺和指南，從而以儘可能安全的方式進行。如圖所示，心臟病專家可以同時看著穿刺點和超聲掃描點進行手術，這減少了干預的風險和時間。根據從業人員的報告，這種操作比舊方法更直觀和舒適。
作為概念驗證，研究的主要目的是證明斯帕斯基方法的可行性：9次穿刺中有9次被認為是成功的，不需要重新進行，沒有記錄與穿刺相關的不良事件（例如出血）。體驗結束後，兩位介入心臟病專家根據5個主觀參數對體驗進行評分，如表3所示：
當然，在後續訪談中，作業者提到了兩個主要的限制:
- 在明亮的照明環境中圖像對比度低。
- 長時間佩戴頭顯可能會不舒服。
相關論文：Application of Mixed Reality to Ultrasound-guided Femoral Arterial Cannulation During Real-time Practice in Cardiac Interventions
總的來說，團隊認為基於微軟HoloLens 2開發的混合現實系統足夠可靠和簡單，可以在介入心臟病學的實時實踐中由從業者使用。在對系統進行定性分析期間，從業人員的反饋證實了這一點。
據悉，所述系統已用於協助西班牙中部一家大型公立醫院的醫生在多達9次干預中進行股動脈插管。系統同時具有足夠的成本效益，可以納入公共衛生系統。綜上所述，這表明混合現實可以在臨床和外科手術過程中成功地支持從業者。