作者 | 张钦坤 腾讯研究院秘书长
曹建峰 腾讯研究院高级研究员
今年，人工智能等新技术的治理，在全球范围内获得了广泛的关注。美欧开始针对人工智能相关应用探索多元化的治理措施。我国也开始回应人工智能新技术及其应用的潜在风险，《民法典人格权编草案》《数据安全管理办法（征求意见稿）》《网络音视频信息服务管理规定》等都有所涉及。此外，网信办发布的《网络生态治理规定（征求意见稿）》（以下简称《规定》），在强调政府、企业、社会、网民等主体共同治理网络信息内容的同时，也及时回应了算法推荐、深度伪造、流量造假、网络暴力等热点问题。
算法推荐引发负面影响，风险防范与技术和产业发展的平衡需要分级分类多元治理
近年来，随着人工智能算法推荐的广泛应用引发的虚假信息、用户隐私、信息茧房、算法歧视等负面影响的持续发酵，我国相关立法和标准开始关注算法推荐。《电子商务法》《数据安全管理办法（征求意见稿）》以及国家标准《个人信息安全规范》最新修订草案等都作出了规定，要求标明“定推”字样，给用户提供“退出”选项并删除个人信息，禁止歧视、欺诈等。此次《规定》进一步明确算法推荐与人工编辑相结合的信息分发方式，第15条要求建立体现主流价值导向的推荐模型，建立健全人工干预机制，建立用户自主选择机制，进一步回应了算法推荐的相关问题。
从行业角度看，个性化算法推荐对贴近用户需求以及构建互联网内容和服务生态十分重要，在各类移动互联网平台的快速崛起中扮演着重要角色，已被广泛应用于新闻、视频、音乐等数字内容及广告、商品、服务等的分发、推荐。但在经历了算法有没有价值观的大讨论之后，人们越来越多地认识到算法并不是万能的，其在提高信息内容分发效率的同时，却可能带来用户隐私、信息茧房、内容安全、传播虚假信息等问题，甚至可能影响公众认知，加剧社会分层和偏见等。所以企业在部署应用算法决策的时候，一方面需要持续优化算法模型，确保数据和算法的准确性、有效性、公平性等；另一方面需要以人工干预等方式进行适度的管理，例如对进入推荐池由算法进行推荐的文章，需要经过审核。
国外也开始多举措规范包括算法推荐在内的算法决策的应用，例如欧盟GDPR通过赋予用户选择和控制权限来解决用户画像和自动化决策中的隐私问题，除此之外并没有给算法推荐等自动化决策提出其他更多的监管要求；而美国加州CCPA对于个人信息的处理则继续沿用opt-out机制，对消费者更为实用，也更有利于市场发展和市场竞争。但数据创新研究中心（Center forData Innovation)的研究报告显示，GDPR实施的一年以来，要求企业手动审查重大的算法决策提高了人工智能的总体成本，在某种程度上阻碍了欧盟的技术创新和产业发展。此外在行业自律方面，Facebook、YouTube等也在不断调整完善其推荐算法，以便给予用户更大的控制和选择权限，同时限制虚假信息的传播。例如今年6月YouTube对其推荐算法做出了三项调整，以便用户可以更容易地探索主题和相关视频，拒绝某个频道的视频推送，并理解为什么被推送了某个视频，代表了其在算法透明上的努力。[1]
整体而言，国外对于算法决策确立了分类分级的监管思路：分类即针对政府和公共部门使用的算法系统和商业领域的算法系统建立不同的监管，前者需要较强的事前监管，如欧盟提出针对前者建立“算法影响评估”机制[2]；分级即对于一般的商业算法系统如定向推送、个性化广告等采取事后追究法律责任的方式，但对于具有与政府和公共部门的算法系统应用类似的重大影响的商业算法系统可考虑一定程度的事前监管。此种分类分级监管方式避免给企业带来不成比例的成本和管理负担，有助于人工智能发展应用。此外，非监管的方式例如算法素养、伦理指南及伦理审查、技术标准和指南、用户控制等柔性方式，也将发挥重要作用。这些举措可给我国将来进一步立法提供有益的借鉴。
深度伪造给网络内容治理带来新挑战，监管需要防范技术滥用同时留出发展空间
左图：1994年电视剧《射雕英雄传》截图；右图：同一场景的“深度伪造”视频片段。来源@换脸哥
深度伪造（Deepfake）作为deep learning（深度学习）和fake（伪造）组合而成的新生事物，是随着生成对抗网络（GAN）等深度学习技术的发展而出现的。其最常见的方式是AI换脸，例如deepfake、face2face等技术，此外还包括语音模拟、人脸合成、视频生成等，统称为深度伪造。深度伪造和合成内容给网络平台治理带来了新挑战，主要表现为利用深度学习等AI技术伪造或合成高度逼真且真假难辨的图片、音频、视频来进行欺骗和欺诈，如色情报复、敲诈勒索、假冒身份、散布虚假信息等，给个人和企业利益以及公共安全带来威胁。而且深度伪造生成方法开源软件的增多，极大地降低了操纵、伪造音视频的门槛。报告显示，网上的深度伪造视频的总数比去年12月翻了一番，达到近15000个，其中伪造的色情视频占比高达96%。[3]
除了此次《规定》提出的概括性禁止要求，《民法典人格权编（草案）》第799条、《数据安全管理（征求意见稿）》第24条，以及日前发布的《网络音视频信息服务管理规定》第10-13条等都作出了规定。主要包括：禁止利用信息技术手段伪造的方式侵犯他人的肖像权和声音；针对自动合成的信息内容标明“合成”字样；上线相关功能或服务需开展安全评估，对非真实音视频信息予以标识，禁止深度伪造的虚假新闻消息，部署鉴别技术并在对非真实音视频信息进行标识后方可继续传播，建立辟谣机制，等等。这些规定表明深度伪造等新技术新应用已经引起我国立法的高度重视。
全球来看，美国最早对深度伪造进行规制，今年以来，美国尤其担心深度伪造对2020年大选和国家安全的影响，开始探索立法应对措施，防范潜在滥用风险。2019年6月，美国国会先后提出了两部法律草案《深度伪造责任法案》[4]和《2019年深度伪造报告法案》[5]。此外，美国的加州、德州、马萨诸塞州、弗吉尼亚州等也陆续推出了相关立法。这些立法提出的主要措施包括：第一，设定应用红线，禁止政治干扰、色情报复、假冒身份等非法目的的深度伪造，否则可能构成刑事犯罪；第二，设置披露义务，要求制作者、上传者以适当方式披露、标记合成内容，例如采取嵌入数字水印、文字、语音标识等方式；第三，加强技术攻防，要求开发检测识别和反制技术。
综合国内外监管趋势来看，遏制深度伪造技术的滥用需要多方主体共同努力，采取分类分场景监管、行业自律、技术对抗、数字素养提升等多元化的举措，在防范风险的同时促进深度伪造技术妥善利用。在合理有效、灵活敏捷的监管之外，还需重视以下两点。
一方面，探索更多有益运用场景，提振产业发展信心。深度伪造作为内容创作工具有其积极的应用价值，可在娱乐、新闻媒体、影视制作、教育等诸多领域运用，例如实现虚拟主播、替身演出、虚拟歌手等，改善医学图像分析，丰富社交网络体验和自我表达等。面对深度伪造带来的风险，在积极应对的同时，还应鼓励行业探索更多有益运用场景，为人工智能技术开发提供更多实践样本，引导人工智能技术向善发展。
另一方面，从源头要求制作者对深度伪造进行标注，同时鼓励行业开发应用检测识别技术，推动建立相关技术和行业标准。当前美国的做法主要是要求制作者对深度伪造内容进行标注，否则可能承担民事责任，严重时还将承担刑事责任，从而从源头上对深度伪造进行规范。这一源头治理的做法具有合理性，因为没有标注的深度伪造内容一旦传播出去之后，第三方就很难鉴别，检测技术的开发、成熟也面临着诸多困难，而且难以跟上深度伪造技术进化的步伐，所以开发溯源技术并进行源头标记是最有效的措施。此外，当前谷歌、Facebook等美国主流科技公司都开始通过多种举措，发展甄别深度伪造和合成内容、对抗深度伪造技术滥用的方法和工具，包括：构建并开放深度伪造数据集，为研究、开发检测识别技术提供基准；支持、发起深度伪造检测挑战赛，与行业携手推动检测技术的研究与开发；开发深度伪造检测识别和标注工具；培训专门的合成内容审查人员，加强对视频内容的真实性审核。但是考虑到行业内当前还没有通用的、高准确率的视频鉴伪网络，相应的鉴伪技术也都尚在初步阶段、还有很长一段路要走，所以不宜强制要求平台对用户上传的或第三方的视频是否属于“深度伪造”或“自动合成”进行检测识别，并以此为由要求平台承担责任，因为这将给企业带来不成比例的管理负担和成本。而且技术攻防本来就是“魔高一尺道高一丈”、处于不断发展之中，故不宜将其转变为硬性要求并与法律责任挂钩，所以如前所述，美欧没有强硬要求平台部署鉴别技术，而是采取了源头治理让制作者、上传者对深度伪造内容进行标注，这具有合理性，值得肯定。
流量造假行为被纳入禁止性规范，技术管网遏制流量经济野蛮生长
《规定》第25条规定，网络信息内容服务使用者不得通过人力或者技术手段实施流量造假、流量劫持以及虚假注册账号、批量买卖账号、操纵用户账号等行为，破坏网络生态秩序。这一规定将流量造假等行为列为破坏网络生态秩序的禁止性行为，有利于规范数据利用，从源头制止流量造假。
流量是网络文化的重要指标之一。流量经济时代，流量劫持、流量造假等问题开始挑战传统法律。流量造假纠纷不仅发生在个人主体之间，平台间的流量之争则更加复杂。去年8月，爱奇艺公司诉杭州飞益信息科技有限公司不正当竞争案中，法院认定通过技术手段增加无效的爱奇艺网站视频访问数据并获取不当利益的行为破坏数据的真实性以及完整性，构成不正当竞争，这表明被刷流量方也可能成为流量纠纷中的受害者。今年5月，全国首例暗刷流量案当庭宣判合同违反社会公共利益而无效，并上缴所有非法所得。流量造假、流量劫持以及虚假注册账号、批量买卖账号、操纵用户账号等行为，不仅损害消费者权益，破坏商业模式，还会损害数据信息价值，造成大数据产业“劣币驱逐良币”。
再者，提高违法成本，有效震慑流量造假行为。如今流量造假行为已经渗透到电商、娱乐、影视等多领域，利益的深度捆绑让流量造假的多方主体均对该行为保持缄默。2018年《反不正当竞争法》的互联网专条对流量劫持、恶意不兼容等问题进行了规制。2019年《电子商务法》明确禁止电商平台买流量刷好评行为。未来还应进一步加大执法力度，提高违法成本，破除该纵深灰色利益链条。
网络暴力成诸多恶性事件导火索，监管之外还需引导理性上网
《规定》第22条针对网络暴力作出专门规定，明确禁止网络用户的网络侵权和网络暴力行为，违反该规定将依照相关法律、行政法规处理。网络暴力在新技术背景下具有新的发展趋势如人工智能被用于实施色情报复等，该规定有助于净化网络环境、维护健康的上网秩序，并规范新技术的应用。
互联网在为用户提供充分表达空间的同时，非理性的声音也极易通过网络发酵，造成大规模网络行为失范。以语言暴力、隐私泄露等为典型，网络暴力主要表现网络欺凌、网络跟踪以及网络骚扰，具体而言：一是对未经证实或已经证实的网络事件，公开发表带有伤害性、侮辱性和煽动性的失实言论；二是在网上公开他人个人隐私，侵犯其隐私权；三是对他人及其亲友的正常生活进行行动和言论侵扰等。网络暴力引发的社会恶性事件层出不穷，不仅对当事人身心、名誉、财产等方面造成实质性损害，还会影响社会价值观，破坏网络生态秩序。
而且近年来，网络暴力事件逐渐增多，冲突行为逐渐升级。中国社科院2019《社会蓝皮书》显示，其调查对象中，约有28.89%的青少年在上网过程中遇到过暴力辱骂，而60%以上的青少年对此没有采取任何措施。美国反诽谤联盟ADL（Anti-Defamation League）2018年调查显示，全美范围内约37%的被调查民众曾经历过性骚扰、被视奸跟踪、人身攻击、持续骚扰等各样的极端网络暴力。此外，如前所述深度伪造等新技术也被用于色情报复、敲诈勒索等网络暴力行为，网络上的深度伪造内容几乎都是伪造的色情视频。
网络暴力的成因复杂，牵涉面广，对暴力信息往往难以及时介入和监管。首先，互联网的复合性传播方式为网络舆论发酵提供了便利。互联网多样化的传播方式使得暴力信息可以通过公开网页、即时通讯设备等进行公开、小范围以及一对一的传播，暴力信息一旦传播开来，便难以控制。其次，网络暴力信息界定模糊，难以及时发现并处理。在技术过滤和人工审核的双重保障下，对于明显的违法信息或含敏感词信息，能进行有效拦截。但是，对于舆论形成初期，如何在健康的舆论环境中识别出暗含网络暴力可能性的话题，如何区分正当的舆论监督和暴力信息都尚未明确操作标准。整体而言，目前针对网络暴力的治理仍以事后监管为主，对网暴事件发生的施暴引导者、不实信息散布者及事件背后的组织策划者等关键对象进行惩治。引导用户理性上网，提升网民素养是从源头消解网络暴力的必要手段。
探索新技术治理的中国模式，为新技术发展应用营造良好的制度土壤
如前所述，连同此次《规定》在内，我国近一两年一系列立法开始加强规制人工智能等新技术及其应用。但在当前的国际化发展形势下，新技术成为各国竞争的核心，如何在日趋严峻的国际竞争形势下（如地区对抗博弈加剧、单边主义抬头等），为新技术创新发展和应用普及营造良好的制度土壤，从而占据技术发展和产业应用高地，是我国在监管新技术新应用时需要着力思考的。
历史地看，美国硅谷之所以在互联网时代成为全球科技创新中心，除了资本、人才、人才流动等因素之外，其成功在很大程度上归因于美国互联网友好型的法律变革，诸如适度的平台责任、版权避风港和开放式的合理使用制度、行业自律为主的隐私监管等，这些制度规定为硅谷企业在Web 2.0时代的巨大成功提供了良好的法律制度土壤，天才的程序员们才得以发挥其聪明才智，带来令人惊艳的创新产物。[6]这可以给全世界正在进行中的新技术治理提供很好的启发。
当前在新技术治理方面，欧盟最为活跃。GDPR、数字税、人工智能监管等都旨构建欧盟内部统一的互联网监管标准和模式，但其对新技术的严格管制能否最终转化为其在人工智能等新技术、新产业发展等上的国际竞争力，是值得深入探讨的。除了对自身发展的考量，欧盟的互联网强监管还有另外一个人们经常提及的原因，就是通过设定偏向性的法律规则来制衡、约束美国，意在为欧盟自身赢得产业发展机遇。用欧盟官方的话来说就是，让互联网惠及所有人，而非个别公司（意指美国大型互联网企业）。
就我国而言，防范新技术新应用相关的风险，已经成为了我国互联网治理的重要内容，需要明确整体上的治理思路和路径。如前所述，在中美欧引领互联网竞争的国际背景下，对于新技术新应用欧盟采取了更为侧重监管的路径，而美国相对宽松的监管环境在新技术背景下不大可能发生大的改变。以此为出发点，我国在监管新技术新应用的时候，需要考虑国际竞争视角和新技术新应用的社会经济效益，兼顾监管治理需求、防范风险、权益保护与技术创新、产业发展等。更进一步，在实践层面，多层次的治理体系比单一的监管和法律更能适应人工智能等新技术快速发展迭代、日益复杂化的特征，行业标准、自律公约、技术指南、最佳实践、伦理框架、伦理教育和技术素养等都将发挥更大的作用。在监管方面需要“疏堵结合、包容审慎、敏捷灵活”的方式，“疏”即破除新技术应用面临的法律障碍，如自动驾驶汽车、AI医疗等面临的传统监管障碍，构建新的监管框架；“堵”即明确应用边界，并以包容审慎、敏捷灵活的方式防范风险，保障技术和产业发展空间。
注：感谢腾讯公司安全管理部安全战略研究中心高级研究员赵玉现在此文写作过程中提出宝贵建议，腾讯研究院助理研究员熊辰协助进行资料搜集。
参考资料：
[1]https://youtube.googleblog.com/2019/06/giving-you-more-control-over-homepage.html
[2]http://www.europarl.europa.eu/thinktank/en/document.html?reference=EPRS_STU(2019)624262
[3] https://edition.cnn.com/2019/10/07/tech/deepfake-videos-increase/index.html
[4] https://www.congress.gov/bill/116th-congress/house-bill/3230
[5] https://www.congress.gov/bill/116th-congress/senate-bill/2065/text
[6] https://mp.weixin.qq.com/s/_3oKDj2WnPioFMlk9-bwvw
–END–
