从“算法偏见赏金” 说起：科技伦理治理的众包模式
受网络安全“漏洞赏金”（Bug Bounty）的启发，推特发布了第一个算法偏见赏金（Bias Bounty），通过邀请和激励人工智能伦理领域的研究人员来帮助识别Twitter图像裁剪算法的潜在歧视危害和伦理问题。这一创新举措开启了科技伦理治理的众包模式。由算法偏见赏金等科技伦理赏金机制建立起来的众包模式，不仅能够帮助企业及时发现和化解科技伦理风险、建立负责任创新的企业形象，还能有效地整合利用全球的社会力量参与到科技伦理治理工作中，促进国家科技伦理治理工作的落地，为负责任的科技创新提供全球性的伦理视野和价值指引。
漏洞赏金机制最早可以溯源到1983年。Hunter&Ready为其VRTX操作系统发起了第一个漏洞赏金，任何发现并报告系统错误的人都会收到大众甲壳虫作为回报。而“Bug Bounty”一词是在1995年被网景的工程师贾勒特·里德林哈弗（Jarrett Ridlinghafer）首次提出的。当时网景的产品爱好者中有不少软件工程师，他们在线上论坛发布自己发现的产品漏洞及修复解决方案。里德林哈弗认为应该利用这些资源，提出了“网景漏洞赏金计划（Netscape Bugs Bounty Program）”。该计划后面得到了公司的支持。[1]1995年10月10日，网景为浏览器测试版推出了第一个漏洞赏金。
漏洞赏金逐渐在美国硅谷流行开来。2000年以后，包括Facebook、雅虎、谷歌、Yelp、微软等许多知名互联网企业及其大型开发项目都实施了漏洞赏金计划。2013年，为了维护整个互联网的安全和稳定性，谷歌为Linux等开源操作系统软件的安全改进提供了漏洞赏金；微软和Facebook联合发起了“互联网漏洞赏金计划”，向发现威胁整个互联网稳定性的安全漏洞的黑客支付巨额现金奖励。此外，微软、谷歌、Facebook等也相继建立了全年开放的漏洞赏金机制。
随着网络安全的形势愈加严峻，政府组织也开始关注到漏洞赏金机制对于改善网络安全风险的积极作用。2016年4月16日，美国国防部在漏洞赏金平台HackerOne的协助下启动了美国政府的第一个漏洞赏金计划“Hack the Pentagon”。在短短一个月的时间内，美国国防部为138份漏洞报告支付了7万多美金的赏金。这一举动标志着一种保护美国联邦政府网络安全的新方法，同时也会影响越来越多的行业和企业采取类似的举措。
随着漏洞赏金机制逐渐成熟、规模化的发展，越来越多的技术工程师成为道德黑客（Ethical Hacker，也被称为白帽黑客），他们不仅能够获得直接的赏金经济收益，还能收获白帽黑客排行榜的自我成就感。白帽黑客社区和运营白帽黑客社区的漏洞赏金平台也应运而生。2021年，美国网络安全咨询公司Gartner列举了全球Top5漏洞赏金平台，HackerOne、BugCrowd、OpenBugBounty、SynAck、YesWeHack。其中HackerOne平台累计注册白帽黑客超过100万人，截止2021年平台累计赏金达到8200万美金。[2]
我国互联网和产业数字化快速发展，在国家政策和网络安全需求的双重驱动下，漏洞赏金机制在我国也得到了很大的应用推广。《2021中国白帽子调查报告》显示，2021年我国白帽黑客人数超过17万人，帮助超过6000个客户组织发现并修复了超过1025449个漏洞，共获取超过3900万元漏洞赏金。[3]腾讯与Hackone建立合作关系，超过60万在HackerOne上注册的白帽黑客可以加入腾讯的漏洞赏金计划，寻找公司产品中的漏洞。同时，腾讯安全应急响应中心（TSRC）自建在线漏洞报告平台，目前发出的单个漏洞最高奖励金额是12万元。
漏洞赏金机制已经成为网络安全的重要组成部分，对企业保护IT资产、规避法律和声誉风险提供了高效的服务选项，不仅能够快速及时地帮助企业发现解决网络安全漏洞风险，也以较低的成本弥补了企业网络安全短板。目前，漏洞赏金计划已开始从纯众包安全测试向综合网络安全平台转型，开创了极具潜力的新型市场定位。市场规模也在逐步壮大，越来越多的白帽黑客、社群、企业加入，推动网络安全众包模式的成熟发展。
算法偏见是最引人关注、也是最常见的人工智能伦理问题之一，各国政府纷纷采取监管措施予以回应。企业的人工智能业务中出现算法偏见的问题，不仅面临政府监管的惩罚，还会损害到企业的声誉和客户的信任。因此，企业试图采取各种措施规避应用人工智能时可能存在的算法偏见问题，算法偏见赏金便是一项有益的尝试。
2021年7月，推特效仿漏洞赏金机制推出了一项算法偏见赏金挑战，这一主动性的、集体性的寻找算法偏见举措为业内首创。推特希望借助挑战赛来发现他们自己无法发现或识别的算法偏见等潜在伦理问题。Twitter机器学习伦理、透明度与责任小组的主管拉曼·乔杜里（Rumman Chowdhury）认为：“发现机器学习模型中的歧视是很困难的。但是歧视一旦触及用户，就会发现不可预估的道德伤害。”[4]
推特在比赛中提供基于机器学习开发的自动图像裁剪算法的代码，参赛者去探索并清晰地说明该算法中可能存在的偏见，最后提交改进方案。参赛者需要提交一份描述性文本来解释发现的算法偏见及其危害性、重要性等，还需基于机器学习开发的自动图像裁剪算法在GitHub上提交一份演示算法偏见的代码。
推特对参赛作品评选打分时，要求参赛者提交的算法偏见只针对某一种危害类型，并且需要说明受到危害的群体是哪种或哪些。如果它对多个族群或身份的人群都有影响，比赛评审将根据影响程度和受影响用户的数量来分配，但参与者不会获得额外基础分数（HarmScore）。在基础分的打分中，主要参考偏见类型和危害类型，如表所示。
在基础分数之上进行权重加成，得出最终分数。首先，根据影响因素，参赛作品将获得第一个加成的权重加成系数。权重加成系数按照不同程度的对边缘化群体（Damage1）和对总体人口影响（Damage2）来判定，分别为1.0、1.2和1.4倍三个等级。其次，按照受影响用户的人数，参赛作品获得第二个权重加成，影响10人获得加成1.0，影响1000人获得加成1.1，影响100万人获得加成1.2，影响10亿人获得加成1.3。最后，评审还根据偏见发生的可能性、偏见被利用的难易程度，偏见的危害性以及风险严重程度和局限性等进行权重加成。
最后，瑞士联邦理工学院的学生博格丹·库利尼奇（Bogdan Kulynych）获得了最高赏金3500美金。他从Twitter发布赏金到提交方案被评为获胜者，仅过了八天时间。博格丹·库利尼奇使用人脸生成工具生成具有不同特征的人脸，然后使用推特的图片裁剪算法进行自动裁剪并观察统计结果。他使用的人脸生成工具可以生成几乎相同但年龄、性别和肤色不同的人脸照片。最后他发现，推特的算法更青睐看起来苗条、年轻、肤色明亮或为暖色调、皮肤光滑、面部特征典型为女性的面孔。[5]同时也有其他参赛者并发现了其自动图像裁剪算法中的种族、性别、年龄甚至是语言等方面的歧视。
随着政府法律监管以及消费者意识觉醒，社会对算法公平公正的呼吁和需求会越来越强，企业逐渐重视算法偏见的问题，采取一系列举措减少或避免算法偏见。算法偏见赏金促进了技术改进并降低潜在的歧视风险，从而可以帮助企业将人工智能伦理从原则变为实践。[6]按照彼得·卡萨特（Peter Cassat）的观点来说，现在企业通过数字化转型，将以前的传统流程和系统转变成自动化、人工智能驱动的流程和系统。但是存在人工智能歧视等风险，甚至可能造成法律风险。任何形式的系统性歧视或对受保护阶层的不同影响都可能导致被追责或索赔。因此，任何有助于减少这种可能风险的方法都是有价值的。[7]
从网络安全漏洞赏金到算法偏见赏金，我们可以发现这种众包模式快速解决问题的优势。在企业的科技伦理治理的落地实施中，应充分发挥众包模式的优势，建立科技伦理赏金机制。从算法偏见赏金到建立科技伦理赏金机制，是为了保证确保每个人都能从技术中公平的受益。科技伦理赏金机制在漏洞赏金和偏见赏金的基础上，但又不局限于算法层面，应更全面地覆盖科技伦理问题和风险。
科技活动中的伦理问题是不可避免的。因为科技人员受限于他身处的环境和受到的教育，会存在伦理盲区或者价值钝点，不能以其他群体的视角来发现一些可能存在的伦理问题。国际组织DataEthics4All的苏珊娜（Susanna Raj）认为伦理赏金可以鼓励不同社会经济背景、性别、种族的人去寻找代码、程序、网站、模型等技术服务中存在的伦理相关问题或错误，这对企业、用户和参与者是一个多赢的局面。[8]企业积极推出科技伦理赏金，也是在向社会和用户传达一种积极态度，即伦理问题非但不是企业自身有意为之，而且积极发现并解决。企业不仅能够及时发现和规避伦理问题，避免可能对个体、群体或社会的伤害，也会建立负责任创新的企业形象。
Forrester预测，谷歌和微软等其他主要科技公司将在2022年实施算法偏见赏金挑战赛，敏感领域中的银行和医疗保健企业等也将实施。Forrester还预测道，不仅仅是大公司正在考虑或应该考虑提供歧视赏金来改进他们的算法产品和服务。初创企业或小规模企业也纷纷考虑在2022年提供算法偏见赏金，一方面通过这种众包模式快速识别算法问题并改进其产品和服务，另一方面也为了提高客户信任度。[9]
网络漏洞赏金开创了一种全球性的众包模式，知名的漏洞赏金平台也是由来自世界各地的白帽黑客组成。科技伦理治理需要更为多元的价值立场和视角对前沿性的科技创新和应用进行价值指引和伦理规范，因此科技伦理赏金机制也应该成为一个全球性的机制。在科技伦理治理的落地实施中，应充分发挥众包模式的优势，建立体系化、全球化、市场化的科技伦理赏金机制。
科技伦理赏金机制的使命是需要能够激发、整合或有效利用全社会的资源和力量来对科技创新进行伦理监督和治理。乔纳森·科恩（Jonathan Cohn）指出立法手段的局限性以及社会监督的无效性是无法快速根本预防并解决现有及未来的科技伦理问题的，而科技伦理赏金机制则因为具有较高时效性而成为一种必要的应对选择。[10]记者、民间组织等社会力量在早期发现人工智能应用中的算法偏见问题起到了关键作用。[11]
目前已经有越来越多的国际机构和学者开始关注科技伦理赏金机制的组织实施，这也说明科技伦理赏金机制逐步获得更多的社会共识。科恩提议建立一个由非盈利组织管理的全球性科技伦理赏金平台。这个平台可以由来自全球的、文化多元的伦理学家们组成。他们负责从最有可能受到潜在伦理问题影响的行业或服务中发现问题，然后确定伦理危害的程度，设定赏金标准，指导企业如何去应对。谷歌、英特尔、OpenAI以及欧美顶级研究实验室的研究人员也曾联合提出建设算法偏见赏金社区的设想，并且以社区的形式建立和共享人工智能伦理事件的数据库，提升人工智能伦理问题的透明性，帮助更多企业和组织避免重复出现数据库中发生过的伦理问题。
近些年，我国高度重视科技伦理治理。2022年3月21日，中共中央办公厅、国务院办公厅印发的《关于加强科技伦理治理的意见》（以下简称《意见》）是我国科技伦理治理工作第一个国家层面的指导性文件，标志着我国科技伦理治理步入系统化、规范化的新阶段。结合我国科技伦理治理的顶层设计和治理需求，建立以科技伦理赏金机制为核心的众包模式对于我国科技伦理治理的落地有很大的促进作用。
首先，《意见》明确了坚持促进创新与防范风险相统一、制度规范与自我约束相结合，强化底线思维和风险意识的指导思想。科技伦理赏金机制充分借鉴漏洞赏金在网络安全保护方面的成功经验，建立众包模式以及时防范重大科技伦理风险。
其次，《意见》明确了企业在内的创新主体的科技伦理管理主体责任。企业可以通过建立企业科技伦理赏金平台，鼓励不同背景的研究者和用户参与到企业科技伦理风险的研判工作，积极发现技术产品和服务中的伦理问题，及时化解企业科技服务和产品中存在的伦理风险。
最后，《意见》也明确了多元主体协作参与科技伦理治理工作的实施路径，围绕科技伦理赏金建立的科技伦理治理众包模式正好符合了该路径。科技伦理赏金机制在一定程度上可以提高人们的科技伦理意识，促进科技伦理的宣传及影响，以建立问题反馈途径、奖励机制和成就满足等鼓励人们参与到科技伦理治理的社会监督中。同时，它也能起到第三方监督的积极作用，促进企业提高科技伦理问题的透明度，促使科技创新、应用和社会能够形成良性循环。
科技伦理问题所产生的影响是全社会的，所以科技伦理治理也需要社会各界的共同努力。科技伦理赏金机制这种敏捷性高的、全社会性的治理方式，能够促进广泛大众都参与进来。从长远角度来看，稳定、成熟的科技伦理赏金机制也可以快速适应各个国家、地区和文化，为负责任的科技创新提供全球性的伦理视野和价值指引，为国家以及世界科技正向发展的提供支撑。
本文在写作过程中得到张钦坤（腾讯研究院秘书长）、曹建峰（腾讯研究院高级研究员）的指导，特此感谢。
[2] https://www.hackerone.com/resources/latest-news-insights/the-2021-hacker-report
[3] https://zhuanlan.zhihu.com/p/451305558
[4] https://blog.twitter.com/engineering/en_us/topics/insights/2021/algorithmic-bias-bounty-challenge
[5] https://www.theverge.com/2021/8/10/22617972/twitter-photo-cropping-algorithm-ai-bias-bug-bounty-results
[6] Why Microsoft and Twitter are using bug bounties to fix A.I. (2021), from https://fortune.com/2021/08/10/why-microsoft-and-twitter-are-turning-to-bug-bounties-to-fix-their-a-i/
[7] https://www.culhanemeadows.com/cassat-builtin-algorithmic-bias-bounties/
[8] DataEthics4All, 19 Nov 2021, DataEthics4AllTM Ethics 1stTM Live: #4Ethics Bounty System, youtube.com, https://www.youtube.com/watch?v=5L_3L6cmgps&t=182s&ab_channel=DataEthics4All
[9] https://www.forrester.com/blogs/predictions-2022-leaders-who-embrace-trust-set-the-bar-for-new-sustainability-ai-goals/
[10] Nast, C. （2021）. An Ethics Bounty System Could Help Clean Up the Web. From https://www.wired.com/story/big-tech-ethics-bug-bounty/
[11] Brundage M, Avin S, Wang J, et al. Toward trustworthy AI development: mechanisms for supporting verifiable claims[J]. arXiv preprint arXiv:2004.07213, 2020.
