(文/Karen Hao)
日前,纽约金融服务部门对高盛发起了一项调查,原因是该公司可能存在性别信贷歧视。此前,网络企业家戴维•海涅迈尔•汉森(David Heinemeier Hansson)在推特上表示,高盛管理的苹果卡给他的信用额度是他妻子的20倍,尽管夫妻二人申请了联合纳税申报单,而且他妻子的信用得分更高。
作为回应,高盛发布了一份声明称,在决定信用等级时不考虑性别。这种逻辑很可能是一种防御——当你甚至不知道某个人是女性的时候,你怎么能歧视女性呢?但事实上,没有考虑到性别正是问题所在。之前关于算法公平性的研究表明,考虑性别实际上有助于缓解性别偏见。然而,具有讽刺意味的是,这样做在美国是非法的。由联合国基金会和世界银行资助的一项正在进行的研究的初步结果,再次挑战了不分性别的信贷贷款的公平性。研究发现,为男性和女性创建完全独立的信用价值模型,可以让大多数女性获得更多的信用。
那么:应该更新法律吗?
1.“不分性别”的性别歧视
如果你不想受到性别歧视,为什么不干脆把性别从等式中去掉呢?这是1974年美国颁布的《平等信贷机会法》的前提,当时女性经常被拒绝信贷。它规定,任何债权人在评估信誉度时因性别而歧视或考虑性别都是非法的。
但在机器学习中,即使性别不明确,也很容易从其他与之高度相关的变量中推断出来。因此,以剔除性别的历史数据为基础的模型,仍然放大了过去的不平等。这同样适用于种族和其他特征。这很可能就是苹果信用卡案例中发生的情况:因为历史上女性获得的信用较少,算法学会了延续这种模式。
在2018年的一项研究中,计算机科学家和经济学家的合作发现,缓解这些问题的最佳方式实际上是在模型中重新引入性别和种族等特征。这样做允许更多的控制来衡量和逆转任何明显的偏见,从而在整体上实现更多的公平。
2.性别差异信贷
最新的研究正在验证一种新的假设:将男女模型分开会进一步减少性别偏见吗?周二,在联合国基金会举办的一次活动上,西北大学助理教授、该研究的研究员展示了初步研究结果,研究结果表明答案是肯定的。
研究人员与多米尼加共和国的一家商业银行合作,对2万名低收入者进行了两项独立的分析,其中一半是女性。在第一个分析中,研究人员利用个人的贷款偿还历史和性别来训练一个单一的机器学习模型来预测信用度。在第二项分析中,研究人员只训练了一个模型,该模型只包含来自这些女性的贷款还款数据。他们发现,93%的女性在这个模型中比在男女混合的模型中得到了更多的信任。
研究员说,这种情况会发生,因为女性和男性有不同的信用历史和不同的贷款偿还行为——不管是出于历史、文化还是其他原因。例如,女性更有可能偿还贷款,他说。但这些差异在联合模型中没有被考虑进去,该模型学会了根据女性和男性的平均信誉度来预测信用度。因此,这些模型低估了女性偿还贷款的可能性,最终给予她们的信贷少于她们应得的。虽然这项研究是专门针对多米尼加共和国的低收入女性进行的,但定性结果应该是正确的,无论背景如何。它们还应适用于性别以外的特征,以及金融以外的领域。
3.如何处理法律?
问题是,这种单性别模式是非法的。问题是,政策制定者是否应该因此更新《平等信贷机会法》。研究人员持赞成态度。“最近关于算法公平性的研究得出了一个相当明确的结论,即我们应该在算法中使用种族和性别等因素,”他说。“如果银行无法获得这些变量,甚至无法建立安全检查来确保它们的算法不存在偏见,那么我们发现这些偏见的唯一途径就是当人们在推特上八卦时。”
但加州大学洛杉矶分校专攻人工智能与法律交叉领域的助理法学教授警告称,不要过快行动。他说,“以这种方式改写法律,为坏人开始包括种族变量和性别变量,以及以一种很难监管的方式进行疯狂的歧视,开辟了道路。”他还担心,这种解决方案不会考虑到非二元或跨性别人士,从而无意中给他们造成伤害。
来源:麻省理工科技评论