外刊 | 《哈佛商业评论》：敏感数据有助减少人工智能歧视
由于担心人工智能歧视，人们往往会拒绝人工智能决策者访问性别、种族、年龄等敏感数据。但研究显示，这实际上会增加歧视性结果产生的风险，而在算法中加入敏感数据反而可以解决这一问题。近日，加拿大西部大学助理教授斯蒂芬妮·凯利（Stephanie Kelley）等人在《哈佛商业评论》发文就此进行了分析。
原文 ：《哈佛商业评论》：敏感数据有助减少人工智能歧视
编译 | 钟丽丽
图片 |网络
关于面试谁、为谁提供医疗服务或向谁发放贷款的决定曾经是由人类做出的，但现在，越来越多的决定是由机器学习（ML）算法做出的。虽然对ML算法的投资持续增长，经营效率大大提升——根据麦肯锡最近的一份报告，经营效率提高了30%或更多——但ML模型和个人数据的采用的确伴随着一定风险，尤其是道德风险。世界经济论坛将失业、不平等、人类依赖和安全列为使用人工智能和机器学习的最大风险，到目前为止，实践中最大的道德风险是歧视。
可以肯定的是，公司不合理的歧视一直存在。历史上对弱势群体的歧视导致了若干反歧视法律的制定，包括美国1968年的《公平住房法》和1974年的《平等信用机会法》，以及欧盟性别指令。特别是贷款领域，一直存在性别歧视，以至于抵押贷款中的性别歧视被视为最具争议的民权话题之一。
从历史上看，为了防止歧视性决策，个人种族、性别和年龄等敏感数据一直被排除在重要的个人决策之外，如贷款申请、大学录取和招聘。无论敏感数据是否符合反歧视法或公司的风险管理实践，公司都很少能够访问或使用敏感数据做出影响个人的决策。尽管这种数据排除行为减少了基于人类决策中的歧视，但应用于基于ML的决策时，它反而会产生歧视，特别是当人口群体之间存在显著不平衡时。
《制造与服务运营管理》最近发表的一项研究证明了以上观点。它以一家金融科技贷款机构为案例，该机构使用ML算法来决定向谁发放贷款。放款方使用过去借款人的个人数据来训练ML算法，以生成关于贷款申请人是否会违约的预测。通常情况下，无论是出于法律原因，还是风险管理原因，放款方都不会使用性别等敏感数据。而研究结果显示，将性别纳入其中反而可以显著减少一半以上的歧视。在不考虑性别的情况下，ML算法过度预测了女性的违约率，而关于男性的违约率是准确的。将性别添加到ML算法中可以纠正这一点，此外，在ML算法中使用性别数据也平均提高了8%的盈利能力。
这不仅仅是性别歧视的问题。虽然研究侧重于将性别作为敏感属性，但当任何具有预测价值的敏感数据（如种族或年龄）被ML算法排除时，都会产生类似的影响。这是因为ML算法从数据中的历史偏度中学习，当敏感数据类别中有较小的少数群体时，歧视可能会进一步增加。回顾一下曾经的贷款情况。一般来说，女性比男性更适合借债，工作经验多的人比工作经验少的人更适合借债。但平均而言，女性的工作经验也较少，在过去的贷款人中只占少数。按照以上经验，一个有三年工作经验的女人是足够值得信任的，而男人则不尽然。通过获取性别数据，该算法可以正确预测这一点。但当算法无法获得性别数据时，它会判断一个有三年工作经验的人更像男性，从而拒绝提供贷款。这不仅减少了有利可图的贷款发放数量（从而损害了盈利性），而且间接加剧了歧视。
现在，监管机构已注意到ML算法的这一缺陷，未来几年将实施几项新的人工智能法规。纽约市“自动雇佣决策工具法”和欧盟《人工智能法案》都避开了严格的数据和模型禁令，转而选择基于风险的审计，并关注算法结果，可能允许在大多数算法中收集和使用敏感数据。新加坡金融管理局也已经发布了一套人工智能道德使用的指导原则，要求业者在使用人工智能和数据分析时，要关注公平、道德、责任和透明度的标准。
在这种情况下，公司应在与监管机构的对话中发挥积极作用。未来公司在应用ML决策时，可在ML算法训练之前对数据进行预处理（例如，下采样男性或上采样女性），这样模型数据更均衡，或者从其他变量（如职业、工作经验与子女数量的关系）中推断性别，还可以用性别调整模型超参数，并在模型参数估计中去除性别，以减少决策结果的歧视性。
文章为社会科学报“思想工坊”融媒体原创出品，原载于社会科学报第1864期第7版，未经允许禁止转载，文中内容仅代表作者观点，不代表本报立场。
拓展阅读
外刊 | 《经济学家》：全球生育率下滑影响经济繁荣
外刊 | 《纽约时报》：勿忽视后疫情时代的空气质量