谷歌聯手伯克利給機器人上網課!觀看8位醫生手術視頻學縫合

2020-07-03     大數據文摘

原標題:谷歌聯手伯克利給機器人上網課!觀看8位醫生手術視頻學縫合

大數據文摘出品

來源:Techxplore

編譯:張睿毅、Andy

前段時間,文摘菌曾提過價值53萬一只的波士頓動力機器狗,也有進行太空探索的昆蟲機器人,萬萬沒想到的是,這次來了一個和大家一樣上網課的機器人。

不知道你有沒有想過這種場景,去醫院做手術時,醫生助手已經不是可愛的護士小姐姐,而是兩隻冷冰冰的機械臂,以快准狠的手法幫你縫合傷口

最近在Google Brain,英特爾還有UC伯克利的合作研究中,研究人員通過用手術教學視頻來對機器人進行「訓練」,讓其能模仿手術過程。

之前,UC伯克利的教授有用過YouTube視頻指導機器人學習各種動作(比如跳躍和跳舞), 而Google則是有訓練機器人理解場景中的深度還有動作。

於是這次的團隊,決定將之前的研究成果結合起來,應用於最新項目Motion2Vec。

Motion2Vec:機器人也要上網課

Motion2Vec算法,能用真實手術視頻來指導機器人學習相關手術動作。

在最近發布的論文里,研究人員簡單介紹了他們如何用YouTube視頻來訓練兩臂達文西(da Vinci)機器人在針刺機上進行縫合操作。

它從模仿學習的視頻演示中,獲得以運動為中心的操作技能。其中表示的算法一致性、可解釋性和監督學習的負擔是該項目模仿學習中的關鍵問題,畢竟通常很難精確地描述定義一個片段和標記的內容。

論文地址:

http://www.ajaytanwani.com/docs/Tanwani_Motion2Vec_arxiv_2020.pdf

首先研究人員嘗試將一小段被標記的視頻進行分類,比如手術縫合任務分解成分段動作, 手術的針頭刺入、拔針、針頭脫落等動作

這個分解過程有點類似於語音識別和合成問題,視頻其中單詞和句子是由音素和基於音素的片段合成的。 這部分會涉及到其它的相關領域,包括計算機視覺中的活動識別、強化學習以及自然語言處理中的詞性標註。

然後,研究的重點是以半監督的方式從視頻演示中提取動作表示,進行動作分割和模仿任務。

在監督學習的過程中,可能存在不受控制的因素,比如照明的強度,相機的機位,動作的順序這些對機器人開啟自主學習來說都是挑戰。

在我們人類看來是很簡單的操作,比如舉起手術針,穿刺皮膚,但機器人不明白這些,在它們的系統認知里,就是兩個物體正在進行相互糾纏的運動。

所以研究人員需要把視頻的動作分解成小塊,然後將相似動作段的圖像像素放在一個組合里,對機器人所承載的模型進行訓練。比如嘗試使用遞歸神經網絡來訓練和預測,並使用訓練結果來優化機器人的動作幅度,比如縫合對齊的精度。

通過嘗試KNN、HMM、HSMM、CRF和RNN進行對比,其中,KNN、HMM、HSMM是無監督的模式,而CRF和RNN採用的是有監督的模式。

結果表明是KNN與RNN兩者的結果是比較好的。

由於訓練採用的是JIGSAWS 數據集,其中包含3個手術任務的視頻演示,分別是縫合、穿針和打結。所以在這次測試中,只有機器人嘗試模擬縫合運動,並沒有考慮更多的技術建模或者其它的問題。

除此之外,數據集裡的視頻演示並不只有一位醫師,而是由8位技術等級不同的外科醫師組成,所以這會產生一個問題,不同的醫師,習慣可能會不同。而機器人正是要學習所有醫師的縫合視頻。

結果表明,與KNN相比,RNN,也就是M2V採用的模型,看上去結果是最好的。呈現的時間段比較一致。

如果採用分割精度來進行比較的話,仍舊是M2V算法領先於其它有標記和無監督的模型。當然結果平均超過5次疊代。

該研究主要是用了Siamese網絡結構,這是一種讓兩個或多個網絡分享同一套參數的深度學習架構。一般在比較和評估數據之間關係時, Siamese結構都是最佳選擇,所以之前也已廣泛用於面部檢測,簽名驗證還有語言檢測等領域。

UC伯克利的實驗室負責人肯·戈德伯格說道,對於這類的深度學習項目YouTube上的訓練數據非常豐富。

在YouTube上每分鐘能獲得500個小時的視頻材料,這簡直就是一個大寶庫。」

他說,「而對於這些視頻,人類幾乎任何人都能看懂且理解,但機器人目前卻無法理解—只能單純地將其看作是像素流。因此,這項工作的首要目標就是讓機器人弄清這些像素的含義。主要就是看視頻,然後對其進行分析, 最後能將視頻切成有意義的序列。」

對於縫合任務,該團隊僅用了78個醫學教學視頻就能訓練其AI引擎進行相同操作,而且聲稱有接近85%的成功率。

這意味著,之後機器人或許能在外科手術過程中執行一些基礎的重複性任務,而能讓外科醫生將時間和精力集中在更精細的手術步驟上。

那機器人短時間內會取代外科醫生嗎?

「現在還遠沒到那個地步」 。戈德伯格說,「但至少,現在已經正朝著具備外科醫生能力的方向發展了。這意味著它能迅速地觀察大局,指出哪裡需要一排縫合線,或哪裡需要特殊縫合。」 戈德伯格繼續說,「接著,當機器人能基本完成這些的時候,外科醫生就能夠更輕鬆一些,獲得更多休息時間,而且能專注於手術中更複雜或精細的地方。」

近年來機器學習為生物技術相關做了很大貢獻, AI快速處理大數據的能力使很多方面都獲得了進步,比如基於CAT掃描檢測肺癌和中風風險,基於EKG和MRI圖像計算心臟病和心臟驟停風險,從照片對皮膚病變分類,還有檢測眼部圖像中的糖尿病跡象方面。

在新冠流行期間,AI還幫助科學家尋找可以抑制COVID-19傳播的藥物,並試圖找到治癒方法和疫苗。

看視頻學習,在我們人類看來是一件極其容易的事情,但對於機器人來說,卻需要很多人去幫助它學習,在這個學習的過程中,會耗費巨大的人力物力。

可一旦等它學會了,它就可以幫助我們完成許多不可能的事情,

期待機器人早日成為人類的好幫手!將不可能變成可能!

相關報道:

https://techxplore.com/news/2020-06-intel-google-uc-berekely-ai.html

https://sites.google.com/view/motion2vec

文章來源: https://twgreatdaily.com/zh-tw/UGnXE3MBd4Bm1__Y3Qxw.html