WWW 2020 | 用於圖像檢索的等距離等分布三元組損失函數

作者 | 張偉

編輯 | 叢末

本文對WWW2020 論文《Metric Learning with Equidistant and Equidistributed Triplet-based Loss for Product Image Search》（用於圖像檢索的等距離等分布三元組損失函數）進行解讀，作者來自螞蟻金服。

1 研究背景

圖像檢索由於類內差異大、類間相似性高，非常具有挑戰性。深度度量學習在該任務上取得了一定的效果。然而，最為經典的深度度量學習損失函數——三元組損失，存在一定的問題。

首先，三元組損失約束了匹配對和不匹配對間的距離差異至少為一個固定間隔值，由於沒有直接約束匹配對或者不匹配對的距離，使得局部範圍內三元組滿足間隔約束時不能保證全局範圍內也滿足。其次，改進的三元組損失進一步約束所有匹配對距離小於某個固定值以及所有不匹配對的距離大於某個固定值，這種固定值約束沒有考慮到圖像不同類別的獨特性，容易造成特徵空間扭曲。因此，需要通過相對距離約束去自適應地調整匹配對的距離和不匹配對的距離。

2 研究動機和方法實現

為了在全局範圍內進一步拉近匹配對的距離和推遠不匹配對的距離，在三元組損失的間隔約束基礎上，我們針對匹配對和不匹配對分別進行了相對距離約束。

拉近匹配對：等距離約束

當兩個樣本足夠近（重合到一點）時，到任意一個其他樣本的距離應該相等。反之，如果有多個樣本到某兩個樣本的距離相等時，那麼這兩個樣本應該足夠近。基於這個直觀的幾何現象，我們提出了等距離約束。通過約束三元組中的兩組不匹配對的距離相等，使得三元組中的匹配對足夠近。滿足等距離約束時，存在一種樸素的最優解，即所有樣本都足夠近。為了避免這種情況，等距離約束依賴間隔約束，間隔約束可以拉開不匹配對和匹配對間的距離。這兩個約束的作用使匹配對足夠近（理想情況下重合到一點），並且不匹配對和匹配對的距離間存在間隔值，因此能夠在全局範圍內通過距離差異區分開匹配對和不匹配對。

等距離約束：

間隔約束：

一種等距離約束的優化情形如圖1所示，三元組{}為了滿足等距離約束，匹配對和朝著紅色箭頭方向移動，三元組{}為了滿足等距離約束，匹配對和朝著綠色箭頭方向移動，最終匹配對和朝著橘色箭頭方向移動變得更近。

圖1：等距離約束優化

推遠不匹配對：等分布約束

由於三元組損失沒有對樣本的分布進行約束，可能導致所有樣本的特徵分布到某個特徵子空間，使得不匹配對的距離沒有被足夠拉遠。為了拉開不匹配對的距離，我們期望不同類別在特徵空間中儘可能均勻分布。在數學上，均勻分布等價於最大化最小距離，所以我們通過最大化類間的最小距離並且約束最小距離相等，來使得不同類別儘可能均勻分布到整個特徵空間，從而增大不匹配對的距離。

等分布約束：

最終，等距離約束、等分布約束和間隔約束構成了等距離等分布三元組損失函數（EET）。

EET使得匹配對的距離更大，不匹配對的距離更小。

圖2：EET效果

3 實驗結果

數據集使用Deep Fashion In-ShopClothes Retrieval (DFISCR)和Stanford Online Products(SOP)。

文章還對不同約束下的結果進行了特徵可視化和檢索結果可視化。可以看出EET比MC(Margin Constraint)約束下學到的特徵類內更集中，類間分布更均勻。

除商品檢索外，EET在行人再識別、細粒度檢索等多個檢索數據集上的精度均得到了提升，對比結果如下。

4 結束語

本文提出的EET方法通過等距離約束進一步拉近匹配對的距離，等分布約束進一步推遠不匹配對的距離。實驗結果表明方法可以用在多個檢索任務上。如何挑選更有信息量的三元組來優化模型參數以及學習更緊湊的特徵表示是接下來需要思考的方向。