人工智能系统已经广泛存在于我们的日常生活中，但我们可能需要几个月、甚至数年的时间才能弄清楚它们是否存在偏见，以及是什么样的偏见。
这带来了不小的风险：不公平的人工智能系统会导致无辜的人被逮捕，甚至是剥夺他们的住房、工作和基本服务。
最近，一群人工智能和机器学习专家正在发起一场新的偏见赏金挑战赛，他们希望这项活动可以让人们更快地发现偏见。
【资料图】
这项赏金挑战的灵感来自于网络安全领域的漏洞悬赏，它呼吁参与者创建工具来识别和减轻人工智能模型中的算法偏见。
（来源：Pixabay）
这场赏金挑战是由一群志愿者组织的，他们在推特、Splunk 和 Reality Defender 等科技公司工作，他们自称为“偏见海盗”。
第一个赏金挑战集中在图像检测中的偏见。这是一个常见的问题：有缺陷的图像检测系统偶尔会将黑人误认成猩猩。
参与者将面临的挑战是要建立一个机器学习模型，该模型可以标记每张图像的肤色、性别和年龄组，这将使其更容易量化和捕捉数据集中的偏见。
他们将使用大约 1.5 万张合成的人脸图像作为比赛用数据集。
参与者将根据模型标记图像的准确性、代码运行时间以及其他指标进行排名，挑战赛将于 2022 年 11 月 30 日结束。
微软和初创公司 Robust Intelligence 承诺为冠军提供 6000 美元奖金，亚军和季军也将分别获得 4000 美元和 2000 美元。亚马逊已经为第一批参赛者提供了价值 5000 美元的算力支持。
这场挑战赛代表了人工智能领域的一个新兴行业：算法偏见审计。
推特在 2021 年推出了第一个人工智能偏见悬赏，斯坦福大学刚刚结束了其第一个人工智能审计挑战。与此同时，非营利组织 Mozilla 也在为人工智能审计师创造工具。
这些审计工作很可能会变得越来越普遍。它们被监管机构和人工智能伦理专家称赞为“让人工智能系统承担责任”的好方法，而且它们也将成为国家或地区的法律要求。
欧盟新出台的内容审核法《数字服务法》，包括对大型技术平台使用的数据和算法进行年度审计，而欧盟另一项即将出台的人工智能法案也可能允许当局对人工智能系统进行审计。
美国国家标准与技术研究所（National Institute of Standards and Technology，NIST）也推荐将人工智能审计作为一项黄金标准。
在布鲁金斯学会研究人工智能治理的亚历克斯·恩格勒（Alex Engler）表示，我们的想法是，这些审计工作将像我们在其他高风险行业看到的审计一样行事，比如在化工和建筑行业。
算法审计专家黛博拉·拉吉（Deborah Raji）在一篇发表于 2021 年 6 月的论文中表示，目前的问题是没有足够的独立承包商来满足即将到来的算法审计需求，企业也不愿向第三方开放自己的系统。
这就是这些赏金挑战想要塑造的东西。人工智能社区寄希望于，这些活动能够引导更多的工程师、研究人员和专家来发展所需的审计技能并积累经验。
到目前为止，对人工智能的有限审计努力要么来自学者，要么来自科技公司本身。这类挑战赛的目的是创建一个专门审计人工智能的新领域。
“我们正试图给对这种工作感兴趣的人创建一个新空间，有的人想从零开始，也有人已经非常有经验但不想在科技公司工作，”鲁曼·乔杜里（Rumman Chowdhury）说，她在推特负责机器学习的道德、透明度和问责方面的工作，也是“偏见海盗”的领导者。
她说，这些人可能包括想要学习一种新技能的黑客和数据科学家。“偏见海盗”团队希望这项挑战赛能开创此类比赛的先河。
非营利性人工智能研究实验室的负责人萨拉·胡克（Sara Hooker）说，这样的挑战赛不仅创造了机器学习社区进行算法审计的动机，而且促进了“最好的审计方法，以及应该投资哪种类型的审计”的发展。
蒙特利尔人工智能伦理研究所的创始人阿比谢克·古普塔（Abhishek Gupta）说，“我们对系统的关注越多，我们就越有可能发现存在缺陷的地方。”
支持：Ren
原文：
https://www.technologyreview.com/2022/10/20/1061977/ai-bias-bounty-help-catch-unfair-algorithms-faster/
