掌控权必须在人类手中——Max Tegmark与司晓对谈实录

Max Tegmark    麻省理工学院物理学教授、未来生命研究所创始人
司    晓    腾讯集团副总裁、腾讯研究院院长

8月26日,集智俱乐部与腾讯研究院共同举办“AIS²系列学术报告和研讨活动”沙龙,共同提出AIS²倡议,意指AI+Society与AI+Science这两大前沿领域,并预言人工智能即将在跨学科研究中形成的集体涌现。

此次学术沙龙活动的第一部分以“智能边界:大语言模型能否再次涌现”为主题,麻省理工学院物理学教授、未来生命研究所(Future of Life Institute)创始人Max Tegmark 进行了主题报告,并与腾讯研究院院长司晓进行对谈。本文为对谈实录,由ChatGPT-4转写翻译生成,并经人工编辑校对:

人工智能产业还处于监管的早期阶段

司  晓:
你刚才的演讲对我很有启发。我不禁想起2019年在波多黎各参加未来生命研究所召开的AI国际会议的经历。我记得当时会议的主题是“有益AGI”(Beneficial AGI)。当时大家预期,通用人工智能(AGI)何时到来的平均预期时间是2045年。你在会上讲到了当时常见的关于AGI的迷思(myth,意指错误观点),比如只有超级智能变坏、产生自我意识才会给人类带来严重安全风险,并且提出可以通过将AI与人类的价值观“对齐”(alignment)来大幅降低这些风险。

当时,我们大部分人都觉得AGI距离现实仍然相当遥远,防止AGI变坏听着像科幻小说,而隐私保护、数据安全、算法透明是更值得关注的现实问题。那时候对AGI的讨论,通常不是很聚焦。四年后的今天,随着大模型的突破,我们对AGI的设想更清晰了。当然我们还是对如何应对AGI莫衷一是,但这些意见分歧定义很清晰,可以对下一步AGI发展的指导原则进行细节讨论。那么,如果像4年前那样再组织下一次人工智能国际会议,你会讨论哪些议题,会将什么问题放在议程最优先的位置?

Max:
是的,我们在波多黎各谈得很好。对于AGI来说,确保它未来发展方向的措施是显而易见的,也就是说,像对待生物制药行业那样对待AI行业。生物制药公司应该首先获得相关监管机构的许可,才能销售创新的生物制药产品。制药公司必须要做临床试验,提供证据证实自己的药品安全有效、获益大于风险,才能从监管机构得到销售许可。人工智能产业还处于监管的早期阶段。在我看来,受到恰如其分的监管,是生物制药行业发展相对较好的原因。我相信不论是在美国还是在中国,没人会同意免除所有临床试验,为一些不负责任的公司售卖有害产品开方便之门。

所以,如果要再举办一场AI国际论坛,将如何监管人工智能发展作为重要主题,可能是比较合适的。让来自全球的嘉宾开放讨论他们是如何监督航空业、汽车业、生物制药的,这些行业的最佳实践是什么,是否也可以用到对人工智能产业发展的监管中来。这样的讨论是可以很快出成果的。这样也能为我们争取时间,去研究解决你刚提到的一些更困难的问题。

掌控权必须在人类手中

司  晓:
好的,谢谢你的回答,对你的回答我很有感触。人工智能尚处在爆发期,在技术和商业上都有很多不确定性,监管的难度是比较大的,各方面的争议也比较多。

我的另一个问题是,数月前,Geoffrey Hinton提出了“可朽计算”(mortal computer)的概念。大意是把AI与硬件绑定,比如以很低的成本给烤箱装上GPT,用数瓦的电力就可以驱动,很像人类这样的有机生物智慧,能耗低,智慧会随着硬件的损耗而流逝,所以叫作“可朽计算”。在你的《生命3.0》一书中,你设想通过将AI与人类结合,打破很多生命体的生物局限。机器变成凡人,人类可以不朽。大型语言模型的出现,让人类文明第一次如此接近AGI。这些新变化,是否让你对未来人类的生存形态有新的设想?如果有机会重新写《生命3.0》,你最想修改书中的哪部分?

Max:
是的,我同意你的说法,AI的发展仍然有很多可能性。

我想,未来会变得如何,仍然是一个非常开放的问题。但无论如何,掌控权必须在人类手中。一般来说,技术创新带来功能更强大的技术,如果掌控权在我们手中,就好比你可以很好控制你的智能手机,那么智能手机就会是一个有帮助的工具,让你更好完成以前做不到的事情。但如果我们对创新的成果没有掌控权,那情况可能会很糟糕。

如果某天超级智能问世,我们不应该只把它看作是蒸汽机或电这样的新技术发明,而是把它看作出现在地表的新物种。与新发明不同,新物种会自我复制,并且有自己的想法和目的,所以我们必须非常、非常小心。我们不会担心像牛羊这样的既有物种捣乱,因为这些物种很容易控制,就智力水平而言,我们远远胜出。而如果我们创造出超级智能这样比我们聪明得多的新物种,事情就反过来了,控制这一新物种异常困难,很容易就失去对它的控制。

所以我想,如果我们把事情做对了,找到方法确保让机器与我们的目标一致、始终站在我们一边,辅助我们,人类的未来就十分美好。像刚才主持人提到的,人工智能协助我们治疗所有疾病、消除饥饿和贫困、实现世界和平、探索未知宇宙。但这些的前提都是掌控权在我们手里。所以与其问超级智能将如何改变未来,不如问我们到底想要一个什么样的未来?然后再看如何走向我们想要的未来。

在我看来,中国在这些方面可以扮演非常关键的角色。中国是存续了数千年的古老文明,有更加深厚的长远思考的传统。我真的建议大家多想想,人工智能对人类的未来意味着什么,详细阐述出来与所有人分享。如果全球能够对未来愿景达成积极的共识,每个人都会从中获益,互相合作共同建设这样的未来愿景也会容易很多。

司  晓:
是的,同意,掌控权必须抓在我们手里。你刚才在主题演讲中提到了未来生命研究所最近发布的公开信,呼吁将研发比GPT-4更加强大的AI系统暂停至少6个月。Elon Musk和AI领域的一些重量级人物都在信上署名。这一呼吁得到相当多的关注,并引发了广泛讨论。我记不太清这封信具体的发布日期了,是不是已经过去六个月了。Geoffrey Hinton为了敲响AGI的警钟,在今年早些时候从Google离职,距离他谈论“可朽计算”仅仅几个月的时间。马斯克则一度认为AGI是人类走向星际文明的必由之路。

如果我没理解错的话,今年以来,Hinton对AI的态度发生了180度的大转变。那么,你对AI发展的未来仍然持乐观态度吗?你是否同意AGI总体上对人类有益,未来生命研究所提出的阿西洛马AI原则是否足以保护人类免受AGI的威胁?

Max:
我一直相信AI要么成为人类历史上最棒的事情,要么成为人类历史上最糟的事情。而到底是最棒还是最糟,选择权在我们手中。对于我们是否能很好处理人工智能的挑战,说实话,在过去的一年里,我多少感觉更悲观一点。我曾经期待,当人工智能的挑战越来越明显的时候,政策制定者会更快采取行动,对人工智能的发展进行监管。就像我刚才提到的,他们已经在生物、航空和其他领域做了很长时间的监管,已经有经验了。

但到目前为止,各国的监管还比较初步,虽然有很多讨论。但我希望能有更多的政策出台。

重要的是要记住,我们几乎可以肯定未来会发展出强大的、超过人类的AI,但不能保证它会是友好的。我们必须做出努力,统筹协调监管、合作和安全技术,确保AI是对人类有益的,而不是指望这一点会自动实现。在这个问题上,我们没有任何懈怠的空间。

司  晓:
好的,我问得更具体一点,价值对齐(Value alignment)被认为是解决AI挑战的一个重要方法,确保AI的决策与人类的价值观和道德观念一致。对齐也是阿西洛马AI原则的基本思想之一。对齐不是自动实现的,需要大量的资源投入来保障对齐。Open AI说他们打算将20%的计算资源用来支持价值对齐研究和技术实践。这个投入力度不小,但你认为这足够吗?大模型公司需要如何保障价值对齐的投入?全球不同的组织在不同的地区训练不同的大语言模型,又如何确保在不同实体、地区之间实现普遍的对齐?

Max:
我认为Open AI现在能做的最好的事情,就是停止训练GPT-5或其他更强大的模型,并承诺在我们弄清楚如何保障人工智能安全性之前,不会发布比GPT-4更强大的东西。但问题是,人工智能公司同时面临来自同行的竞争压力,没有公司会自觉独立停止研发,因为这么做除了让自己输掉竞争之外,不会有其他作用。所以这就是为什么我觉得我们必须达成一个覆盖全球的安全标准。所有人都必须遵守这个标准,都在同一个水平上公平竞争。这样我们才能实现有意义的“暂停”。

对于第二个问题,我们应该在什么基础上达成一致,尽管不同国家不同企业往往有不同的角度和观点,但实际上我觉得情况比大多数人想象的要乐观。我在前面主题演讲的开头提到了联合国的可持续发展目标(SDG)。SDG是非常大、非常有雄心的目标,而且全球大多数国家,不管是中国美国俄罗斯还是印度,都赞同这些目标。那就从这些我们都赞同的目标开始,然后再去一点点深入到细节。我们应该相信,与机器相比,人类之间的共同点非常多,我们都要吃饭睡觉、都敬畏生命、都珍视家庭。

而对大语言模型、对AI来说,那是我们完全陌生的思维方式。这些AI的思维空间远远大于人类的思维空间,不难想象,这样一个AI完全不关心上面提到的这些、对我们来说非常重要的东西。它可能只是想把地球变成一个越来越大的GPU服务器农场,或者把太阳变成戴森球(弗里曼·戴森设想的开采恒星能源的人造天体),或者把行星排列成其他形状,等等。所以,我说这些的意思是,人类所一致希望的那些东西跟机器的疯狂想法相比,是根本没有可比性的。先弄清楚如何让机器与我们都同意的全球价值对齐,是个很好的起点。

人工智能对人类教育和学习模式的长期影响

司  晓:
AGI的挑战一方面是如何负责任地开发,另一方面是如何负责任地使用。为了能够与智能机器共存,我们需要对今天的教育系统进行更新,让每个人都做好准备,特别是年轻一代。因为教育是最先被AI改变、受到AI影响的领域。

我最近与香港大学的一位教授朋友交谈。他告诉我,GPT在校园里被广泛误用。学生们现在使用ChatGPT来做作业,写论文。他问我是否有可能开发一些算法来检测学生作业的“含GPT量”。他也感慨,未来教育会不会变成一个不同的智能工具之间的竞赛,一个AI做作业,一个AI检测“含GPT量”。老师和学生之间的教和学,是不是会变成一场谁能更好使用AI的攻防战。Max您是MIT的教授,对这样的攻防战应该有一手经验。那么,你如何看待AI对人类教育和学习模式的长期影响?这样的攻防战是为了让年轻一代适应即将到来的AI时代的必要之恶吗?

Max:
我同意你说的,它对教育有深远的影响。确实会有这样一场竞赛,一个AI检测作业是否是机器生成的,另一方面学生使用AI来做作业,而且教授们将输掉这场竞赛,因为这些大型语言模型,本身就是为了把人工智能训练得越来越像人类,并且确实做到了。但我认为,我们必须做的是真正地改变,是如何教学和测试学生。更深层次的问题是,如果机器能比人类更高效更好地完成所有工作,那么我们首先就要问问自己,生而为人的意义是什么。一开始,我们就不应把自己置于非要与机器竞争的境地,毕竟它们可以以极低成本做得比我们更出色。

我们可能决定保留一些工作,这些工作可以赋予人生意义,即便机器可以更便宜地完成这些工作。我们不应该只是考虑工程师或者AI研究这样的工作,可能要谈谈像心理学家、教师和社会工作者这些工作,谈谈什么能带来幸福,我们想要什么?我们想在AI时代建立什么样的社会,使AI让我们变成更好的自己,使生活更有意义,而不是与机器竞争工作岗位。

司  晓:
好的。由于时间关系,我想我应该在这里停下。非常感谢Max的精彩发言和这次引人入胜的讨论。我认为你所有的新观点都为人类和AGI共同创造一个更美好的未来带来了希望。再次感谢你的分享。