作者 | 趙晗
編譯 | Mr Bear
編輯 | 叢末
所有方法的共同之處在於，為了降低依賴性，在一定程度上必須犧牲準確性。
——Calders et al
「Building Classifiers with Independency Constraints」
在人工智慧發展的初期，人們對算法的要求往往停留於「准」的層面，預測結果越精確似乎越好。然而，隨著人工智慧技術逐漸融入日常生活，人們對於算法「公平性」的要求與日俱增。在本文中，來自 CMU （卡內基 · 梅隆大學）的研究人員趙晗提出了一種通過學習公平表征來實現算法公平的方法。（相關論文發表在ICLR 2020上）
圖 1：統計均等（Statistical Parity，又稱群體公平）和最優決策之間權衡的示意圖。在本例中，由於圓形和方形群組之間在群體層面上的還款率不同，為了遵循統計均等，決策者必須要麼拒絕向某些處於還款狀態（repaying）的圓形申請者貸款（左圖），要麼同意向某些違約的方形申請者貸款（右圖）。
隨著機器學習應用程式在諸如刑事判決，醫學檢測，在線廣告等高風險領域中的盛行，確保自動化的決策支持系統不會傳播歷史數據中可能存在的固有偏見或歧視是至關重要的。從廣義上講， 有關算法公平性的文獻中包含兩個核心的「公平性」概念：
第一個概念是「個體公平」。簡而言之，它要求公平的算法以類似的方式對待相似的個體。然而，在實踐中，通常很難找到或設計一種被社會所認可的距離度量標準，該標準用于衡量個體在面對特定任務時的相似度。
第二個概念是「群體公平」，這是本文重點討論的問題。更具體地說，就是所謂的統計均等，它本質上是要求預測器對於不同子群輸出的結果相同。
舉例而言，我們不妨考慮一下下面的貸款核准問題。假如這個虛擬設定的環境中有通過圓形和方形代表的兩組貸款申請人。
自動貸款核准系統 C 的目標是預測：如果某位貸款申請人被批准放貸，在給定對於申請人的描述信息 X 時，他是否會按期還款，C(x)=1 代表會按期還款，C(x)=0 代表不會按期還款。
如果我們分別使用 A=0 表示申請人來自圓形群組，A=1 表示申請人來自方形群組，這種統計均等的定義要求如下：
Pr(C(x)=1 | A=0) = Pr(C(x)=1 | A=1)
其中，該機率值是根據 X，A，Y（即申請人的描述信息、申請人所屬群體、申請人實際是否還款的真實標籤） 的聯合分布 D 得到的。換而言之，統計均等要求預測器 C(x) 與群體屬性 A 無關：C(x)⊥A。
一、學習公平的表征
在儘可能地保證任務的效用的同時，一種構建（近似地）滿足統計均等的分類器的方式是：學習公平的表征（詳見論文「Learning Fair Representations」：https://www.cs.toronto.edu/~toni/Papers/icml-final.pdf）。
從宏觀上說，這類工作試圖找到一種信息豐富的表征 Z（詳見 Richard Zemel 教授的相關工作：http://www.cs.toronto.edu/~zemel/inquiry/home.php）、一種輸入變量 X 的特徵轉換方式，從而使 Z（近似地）與 A 無關，同時 Z 仍然包含關於目標 Y 的豐富信息。這種目標可以被形式化定義為下面的優化問題：
其中 ϵ > 0 是一個預設的常數，我們使用 I(⋅;⋅) 表示兩個隨機變量之間的互信息。如圖 2 所示，得益於近期深度神經網絡表征學習方面的研究進展，我們可以通過對抗性訓練算法實現上面的優化問題。這種特殊的方法至少可以追溯到 Edwards 等人的工作：「Censoring Representations with an Adversary」（https://arxiv.org/abs/1511.05897）。
圖 2：學習公平表征的一種算法實現。中間的表征 Z 試圖騙過對抗者 A，A 的目標是識別出輸入變量的群體屬性是「圓形：A=0」還是「方形：A=1」。整體的網絡架構可以使用梯度下降法訓練。
現在，我們的目標就非常直接了：根據著名的數據處理不等式（DPI），如果我們試圖訓練一種特徵轉換方式 Z，使其能夠騙過非常強的對抗者（判別器），那麼任何使用這種表征的預測器也會是公平的（即滿足統計均等）。
二、公平性和效用間的權衡
如圖 2 所示的模型包含兩個目標函數，我們在訓練階段同時優化他們。第一個目標是為了通過騙過對抗者確保統計均等，第二個目標是為了減小預測 Y 的目標任務的損失函數。
這兩個目標函數往往會通過一個調和超參數 λ 融合在一起。然而，統計均等的概念並沒有考慮與真實標籤 Y 相關的信息。正如你可以想到的，加入某個人的群體特徵 A 與其目標標籤 Y 高度相關，那麼要想使預測器滿足統計均等就必然會同時破壞預測器的最佳性能。
例如，在我們圖 1 所示的貸款核准問題中，圓形群體的還款率（90%）要高於方形群體的還款率（80%）。根據統計均等的概念，一個公平的預測器必須以相同的比例將貸款發放給圓形和方形群體。舉例而言，一個公平的分類器會將貸款恰好發放給 80% 會還款的方形申請者，同時也會將貸款發放給 80% 會還款的圓形申請者（詳見圖 1 左圖）。但是，這就意味著有 10% 確實會還款的圓形申請者會被拒絕放款。
另一種可能的情況是，一個公平的分類器會將貸款恰好發放給 90% 會還款的圓形申請者，同時將貸款發放給 80% 會還款和 10% 不會還款的方形申請者。在我們例子中的這兩種情況下，為了滿足統計均等的標準，一個公平的分類器都會在預測準確率方面有所損失。當然，也可能存在其它公平的預測器，這些預測器可不可能遭受較小的損失呢？
在 NeurIPS 2019 上發表的論文「Inherent Tradeoffs in Learning Fair Representations」（論文地址：https://arxiv.org/pdf/1906.08386.pdf）中，作者說明了上述兩種公平分類器某種程度上說都是效用最優的。就形式化定義而言，令
為由群體屬性為
的 產生的 0-1 二分類誤差。我們定義：
為各個群體之間基準比率（Base Rate）之差。則下面的定理成立：
定理1：對於任意滿足統計均等的預測器 ，
在我們貸款核准的例子中，圓形申請者和方形申請者的還款率之差為 10%，因此
。請注意，上述兩種公平分類器針對圓形申請者和方形申請者的的誤差率都為 0.1。
根據定理 1，對於任意公平分類器，它在兩種群體上的誤差率之和必然至少為 10%，所以它們都是最優的。定理 1 是非常直觀的，它本質上說明了：
當不同群體的基準比率有差異時，所有滿足統計均等的公平分類器都必然會至少在其中一個群體上產生較大的誤差。
具體而言，根據鴿巢原理，我們很容易發現任意的公平分類器必然會至少在其中一個群體上產生至少
的誤差率。此外，該結論是預算法無關的，它在群體層面上成立（即使用大的訓練集並不能有所幫助）。接下來，讓我們深入分析 這個量：
如果 A⊥Y，那麼Pr(Y=1 | A=0) = Pr(Y=1 | A=1)，這意味著。也就是說，如果群體屬性與目標無關，那麼上述下界為 0，因此此時不存在效用和公平性的權衡。
如果基於可以確定 A=Y 或 A=1-Y，那麼 將取到其最大值 1。在這種情況下，任何公平分類器都必然會在至少一個群體上產生至少為 0.5 的誤差。
通常而言， 取介於 0 和 1 之間的值，正是這個值表示了在二分類情況下對於公平性和效用的權衡。
三、公平表征學習的權衡
定理 1 僅僅在某種「精確」的情況下成立：預測器需要「精確地」滿足統計均等。然而，實際上，由於有限的訓練數據量或模型容量，這種要求可能是難以實現的。
我們是否有可能在某種預測器只能近似地滿足統計均等的標準時，表示這種內在的權衡？如果可能的話，這種表征的特性將會在何時、以何種方式發揮作用？
事實證明，這種近似有助於減小定理 1 中的下界。具體而言，令
為給定 A=a 時的條件分布 D。對於特徵轉換函數
來說，令
為 Da 在使用 g 轉換後的前推分布（Pushforward Distribution）。此外，如果我們使用
代表兩個機率分布之間的總變分距離，那麼下面的定理成立：定理 2：令 為一種特徵變換。對於任意（隨機的）假設
，令
為一種預測器，則下面的不等式成立：
首先，顯然當
時，定理 2 退化到了定理 1 中的下界。
在本例中，同樣根據數據處理不等式（DPI），任何作用於 Z 的假設 h 也會在不同的群體上以相同的比率輸出結果，因此是公平的。
其次，要意識到，
越小，則下界越大。因此，當 較大時，針對不同群體的表征對齊地越好，則不同群體上的誤差之和也會越大。
需要指出的是，選擇總變分距離作為分布對齊質量的度量沒有什麼特別之處。在論文「Inherent Tradeoffs in Learning Fair Representations」的 3.2 節，我們使用 f 散度給出了一種一般性分析，讀者可以也可以使用其它的散度測度（例如，HS 距離、Hellinger 距離等）對其進行實例化，從而得到相同的下界。
從積極的一面來看，在一定的條件下，我們也證明了學習公平的表征有助於實現另一種公平的概念，即準確率均等，它要求組間的誤差率相等。
四、實際情況如何？
上述下界意味著在群體間過度對齊的特徵分布將會不可避免地導致更大的聯合誤差。為了證明這種可能性，我們在真實世界數據集（UCI 成人數據集）上進行了實驗。這裡的任務是收入預測（年薪是否高於 50,000），群體屬性則對應於「男性/女性」。對於該數據集而言，，即在 1994 年男性年收入大於 50,000 的比率比女性高 19.7%。
我們實現了圖 2 所示的模型，將對抗性損失的權衡超參數 λ 取了不同的值：0.1，1.0，5.0，以及 50.0。實驗結果如圖 3 所示：
圖 3：統計均等的權衡，以及在不同這種係數 λ 下群體間的誤差率之和。
在圖 3 中，我們繪製出了三種度量標準以及它們隨著 λ 增大而發生的變化。第一個豎條對應於聯合誤差（即
），它是在成人數據集上的整體誤差。第二個紅色的豎條代表群體間誤差率之和，這正是在我們的定理 1 和定理 2 中都出現了的下界。第三個灰色豎條對應于衡量 滿足統計均等的程度的差異得分（gap score）。具體而言，灰色的豎條代表的是：
。簡而言之，這個差異得分越小，預測器越滿足統計均等。
正如預期的那樣，隨著 λ 的增大，差異得分迅速減小。當 λ=50.0 時，相應的 已經非常接近於滿足統計均等。另一方面，我們也可以觀察到，隨著 λ 的增大，紅色的豎條也迅速增大，最終群體間誤差之和達到了大於 0.36 的水平。
請注意，在圖 3 中，黑色的水平線對應於 ，所有的紅色薯條都超過了這個水平線，這與我們的理論分析結果是一致的。實際上， 是非常容易計算的，它可以在不實際訓練公平分類器的情況下，限制它們所產生的誤差之和。
五、結語
理解效用和統計均等之間的基本權衡既有趣又充滿挑戰。在我們的論文和這篇博文中，我們在二元分類問題的環境下，給出了對這種內在權衡的簡單而直觀的描述：當各群體之間的基準比率不同時，任何滿足統計均等的公平分類器都必然至少在其中一個群體上產生較大的誤差！
而要想在回歸問題中找到相應的描述方式，仍然是個有待解決的問題，目前尚不明確如何將我們現在的這種證明策略擴展到分析回歸問題中類似的權衡上去。
另一方面，我們的實驗結果說明了，將統計均等定義為公平性是有缺陷的。當我們定義公平性的概念時，還應該將目標的信息考慮進來。例如，均等幾率和準確率均等是兩種另外的定義群體公平性的方式，它們都是可以與完美的預測器兼容的。
我們最近在 ICLR 2020 上發表的論文「Conditional Learning of Fair Representations 」也提出了一種算法，在二分類問題中，再次通過學習表征近似地實現這兩種標準。
論文地址：https://openreview.net/forum?id=Hkekl0NFPr
Via https://blog.ml.cmu.edu/