危崖：保卫人类
【作者简介】托比·奥德（Toby Ord），澳大利亚哲学家，现任牛津大学人类未来研究所高级研究员。
托比·奥德的研究工作主要集中在人类面临的大局问题上。他早期研究的是探讨全球贫困的伦理问题，为此他创建了一个名为“尽我们所能”的组织，承诺一生中将共同捐出超过10亿英镑，支持最有成效的慈善机构以改善世界。此外，他还协同发起了有效利他主义运动，拓宽这些理念。他目前研究的是有可能造成人类灭绝或文明永久崩溃的风险，以及如何在这些危险中保卫人类，他认为这是我们面临的紧迫且容易被忽视的问题之一。他曾为世界银行、世界经济论坛、美国国家情报委员会、DeepMind、英国内阁办公室和英国首相办公室等组织机构提供风险咨询建议。
在我们面前，没有任何灾难是无法避免的；没有任何灾难以迫在眉睫的方式威胁我们，而我们束手无策。如果我们的行为是理性的、人道的；如果我们冷静地专注于全人类所面临的问题，而不是情绪化地专注于国家安全和民族尊严等19世纪的问题；如果我们认识到敌人不是自己的邻居，而是痛苦、无知和对自然法则的无视—那么我们就能解决面临的所有问题。我们可以按照自己的意愿完全消除灾难。
—艾萨克·阿西莫夫
如何对待未来取决于我们自己。我们的选择决定我们生存还是死去，实现我们的发展潜力还是浪费成就伟业的机会。我们不会让运气束缚自己。个人的命运也许受到外部力量的摆布——突然的疾病或战争的爆发——但人类的未来几乎完全掌握在人类手中。大部分生存性风险来自人类的行为：来自我们可以选择停止的行为，或者选择更有效管理的行为。即使自然界的风险来临，我们也可以赶在风暴掀起之前，在足够长久的时间尺度上保护自己。
我们需要对我们的未来负责。当下活着的人是唯一能与目前的危险做斗争的人，是唯一能建立保卫我们未来的社区、规范和制度的人。我们是作为攻克难关走向光明和安全未来的一代人被铭记，还是彻底被遗忘，取决于我们能否奋起迎接这些挑战。
在探讨这些问题时，我认为从全人类的视角来考虑我们的困境是有帮助的：把人类作为一个紧密结合的整体，并思考人类的战略选择是否足够理性和明智。或者换句话说：思考人类团结协作能实现的事情，并以人类的长远利益为重。
这种框架是高度理想化的。它掩盖了因我们的不团结而产生的困难，也掩盖了个人为推动整个人类向正确方向发展而可能采取的行动的 重要性。但它还揭示了更大的问题，而这些问题迄今为止几乎完全被忽视。这些问题关乎人类的大战略，以及我们如何确保自己能够实现一个美好的未来——即使我们还不能准确知道那将是怎样的未来。通过回答这些问题，我描绘了人类把自己的家园管理得井井有条的一幅宏大愿景，我希望这一愿景能在未来的几十年里指引我们，即使现实更混乱不堪、困难重重。
我的建议将从高层战略到政策建议，一直延伸到个人层面，并提出任何人都能采取的有前景的职业道路和行动。由于人们很少花时间仔 细思考如何保护人类的长期潜力，所有这些指引必须被视为暂时性的，它还没有经受时间的考验。
但是，我们正处于思考人类长期未来的早期阶段，这一事实也使我们有理由在开始旅程时充满希望。这不是一条老路，被有希望的想法 探索过却无法令人满意。这是一片未开垦的土地，对于第一批探索者来说，这一阶段他们可能会收获许多深刻的见解。
人类如何才能有最大的机会实现其潜力？我认为，在最高层面上，我们应该采取一种分三个阶段进行的战略：
（1）实现生存性安全
（2）长期反思
（3）实现发展潜力
根据这一观点，人类的第一项伟大任务是实现一种安全状态——一个生存性风险很低且保持这种水平的状态。我将其称为生存性安全。
它有两个方面。最明显的是，我们需要保持人类的潜力，把自己从眼前的危险中抽离出来，这样我们才不会在把自己的家园管理好之前 就失败。这包括直接应对最紧迫的生存性风险和风险因素，以及对我们的规范和制度进行短期变革。
但是，我们也需要保护人类的潜力——确立持久的保障措施，使人类在长远的未来免受危险，从而立于不败之地。保持我们的潜力类似于扑灭眼前的火灾，而保护我们的潜力则是做出改变，以确保火灾永远不再构成严重威胁。这需要对我们的规范和制度进行重大变革（赋予人类所需的审慎和耐心），以及采取手段提高我们对灾难的普遍适应力。这不需要我们马上预见所有的未来风险。如果我们能使人类坚定地 走上一条认真对待新风险的道路，从一开始就能成功地管理或完全回避这些风险，就已经足够了。
要注意的是，生存性安全并不需要将风险降为零。这将是一个不可能实现的目标，而且为实现这一目标所做的努力很可能适得其反。人类需要做的是将本世纪的风险降到一个很低的水平，然后随着世纪的推移，持续地逐渐降低风险。这样一来，即使每个世纪可能都始终存在一些风险，但我们整个未来的整体风险却可以保持在较低的水平。我们可以把这看作一种生存的可持续性。任由生存性风险累积向100% 发生的可能性攀升的未来是不可持续的。因此，我们需要为整个未来设定一个严格的风险预算，将这种不可再生的资源小心翼翼地分配给子孙后代。
归根结底，生存性安全就是要尽可能地降低整体生存性风险。保持我们的发展潜力有助于降低我们在今后几十年中面临的部分整体风险，而保护我们的潜力则有助于降低长期风险。我们可以同时在这些方面下功夫，将我们的一些努力用于减少眼前的风险，将另一些努力用来 提升能力、建立机构、增长智慧和加强意愿，以确保将未来的风险降到最低。
鼓励人们确保生存性安全的一个关键认识是，如果生存性安全是全世界的当务之急，那对人类而言似乎不存在任何可以持续极长时间的 重大障碍。正如我们在第三章中所看到的那样，我们有足够的时间来保护自己免受自然风险的影响：即使我们花上几千年的时间来解决来自小行星、超级火山和超新星的威胁，承受的风险也不到整体风险的1%。
更大的风险（和更紧迫的期限）来自人为的威胁。但是，由于这是人类自己造成的威胁，它们也在我们的控制范围之内。如果我们有足 够的耐心、谨慎和协作水平，我们就可以不再把这种风险强加给自己。我们会将碳排放（或核武器）的隐性成本考虑在内，并认识到它们不是一桩好买卖。我们将对最前沿的新技术采取更成熟的态度，将人类的聪明才智至少像投入技术发展那样投入前瞻性的思考和治理中。
过去，人类的生存并不需要太多有意识的努力：我们的历史很短暂，足以躲过自然的威胁；我们的力量也很有限，无法产生人为的威胁。但现在，我们的长期生存需要我们为之做出深思熟虑的选择。随着越来越多的人认识到这一点，我们可以做出这种选择。让人们着眼于长远、超越当下的狭隘冲突是一项巨大的挑战。但其中的逻辑是清晰的，道德论证是有力的。我们能够做到。
如果我们实现了生存性安全，我们就有了放松下来的空间。随着人类的长期潜力得到保障，我们将度过“危崖时期”，自由地思考摆在我们面前的各种未来。我们将能够花时间去思考我们真正的愿望，思考哪一个人类的愿景可以最大限度地实现我们的发展潜力。我们将称之为长期反思。
我们很少这样想。我们只关注当下。即使是我们这些非常关心长期未来的人，也需要把大部分注意力集中在确保我们有未来上。但是，一旦我们实现了生存性安全，我们就会有大把时间来对比可供选择的各种未来，并判断哪种未来是最好的。到目前为止，道德哲学的大部分工作都集中在消极方面——避免错误的行动和不好的结果。对积极因素的研究则处于早得多的发展阶段。在长期反思中，我们需要发展出成熟的理论，容许我们将子孙后代以亿万年和广袤星空为画布而有望成就的伟业进行一番比较。
当今的人类，包括我自己在内，都无法预见这种反思的结果。但我们有独特的条件使之成为可能。
长期反思的终极目标是得出哪种未来对人类最好这一问题的最终答案。这可能是我们在理想的反思过程下趋近的真正答案（如果真理适用于道德问题的话），也可能不是。我们甚至可能无法趋近真正的答案，因为有些争议或不确定因素是理性无法解决的。如果是这样，我们的目的就是要在剩余的观点中找到能获得最佳协调状态的未来。
我们不需要在迈向未来之前全部完成这一进程。至关重要的是，在采取每一个大胆的、潜在不可逆转的行动之前，我们必须对所要达成 目标的大体情况有足够的信心——每一个行动都有可能锁定我们的大部分未来。
例如，可实现的最好未来也许是通过改善我们的生物基因，从身体上完善人类。或者可能需要让人们自由地选取多样化的新生物形式。但是，过早地沿着这两条道路中的任何一条走下去，都会招致其自带的生存性风险。
如果我们从根本上改变我们的本质，我们就会用新的东西取代人类（或至少取代智人）。这将有可能让人类在真正了解什么是最宝贵的 东西之前就失去它。如果我们让自己的形态变得多样化，我们就会使人类支离破碎。我们可能会失去人类的基本团结（这种基本团结使我们对未来有一个共同的愿景），转而让自己永远处于斗争或不尽如意的妥协中。其他大胆的行动也可能带来类似的风险，例如，越过太阳系形成由各个独立世界组成的联邦，每个世界都漂移在自己的文化方向上。
这并不是抗拒这种对人类境况的改变——这些改变很可能对实现人类的全部潜力至关重要。我要说的是，这些都是需要在长期反思之后才可能做出的大胆改变。或者至少要有足够的反思，让我们得以充分理解这种变化的后果，才可能付诸行动。我们需要稳扎稳打，非常谨慎 地选择我们的道路。因为一旦拥有了生存性安全，只要我们缓慢而小心地行事，几乎就可以保证成功：游戏的输赢取决于我们自己，除却迫不得已的原因让我们妥协。
对于长期反思的过程，我们能说些什么呢？我并不是把这想象成人类在那个时代的唯一任务。还会有许多其他的伟大事业，比如对知 识、繁荣和正义的不断追求。而届时很多人可能只会对长期反思产生一时的兴趣。但是，对未来形态影响最大的正是长期反思，而人们将因此记住那个时代。
这一进程可能主要在知识分子圈内开展，也可能在更广泛的公共领域内发生。不管是哪种方式，我们都需要十分小心，避免有关人员的 偏见或成见影响这一进程。正如乔纳森·谢尔在谈到类似的事业时所说的那样，“即使每一个在世的人都参与进来，这种努力也只能由数量远逊于已逝的世代和未出生世代的人来完成，因此需要以少数人的谨慎和谦虚的态度行事”。我们进行对话时应该谦恭有礼，尊重各种观点， 但更重要的是稳健和严谨。因为对话的最终目的不仅仅是赢得当时活着的人的好感，而是要得出经得起永恒考验的定论。
虽然道德哲学将发挥核心作用，但长期反思需要来自许多专业领域的见解。因为它并非仅仅确定哪些是最好的未来，而是首先要确定哪 些未来是可行的，哪些战略最有可能实现这样的未来。这需要科学、工程、经济、政治理论和其他方面的分析。
我们可以把生存性安全和长期反思这前两个阶段看成为人类设计 一部宪法。实现生存性安全，就像把保护我们的发展潜力写进宪法。然后长期反思将充实这部宪法，确定我们未来发展的方向和界限。
当然，我们的最终目标是最后一步：充分实现人类的发展潜力。但是，要做到这一点，必须先认真思考哪种未来是最好的，以及如何在不犯任何致命错误的情况下实现这种未来。虽然现在开始这样的反思并无大碍，但这并不是最紧迫的任务。为了最大限度地提高我们成功的机会，我们首先需要让自己达到安全状态——实现生存性安全。这是我们这个时代的任务。其余的事情可以稍后再说。
许多在著作中探讨过人类灭绝风险的人认为，如果我们能够生存足够长的时间移居太空，我们就会很安全——目前我们所有的鸡蛋都在一个篮子里，但如果我们成为一个星际物种，这个脆弱期就会结束。这对吗？移居其他星球会给我们带来生存性安全吗？
这个想法是基于一个重要的统计学事实。如果需要摧毁越来越多的地方来让人类无法生存，并且每个地点遭受灾难的概率与其他地点是否也遭受灾难无关，那么人类很有可能无限期地生存下去。
但不幸的是，这种说法只适用于统计学意义上的独立风险。疾病、战争、暴政和长期遭受不良价值观念影响等许多风险是跨星球相关的：如果它们影响了一个星球，就很有可能以某种方式影响到其他星球。通用人工智能价值未对齐和真空塌陷等少数风险则几乎是完全相关的：如果它们影响了一个星球，所有星球都很可能受影响。可以想见，有些尚未发现的风险也会在我们的定居点中存在关联。
因此，太空定居有助于实现生存性安全（通过消除不相关的风险），但这绝不足够。成为跨星球物种是一项鼓舞人心的事业——可能是实现人类发展潜力的必要步骤。但我们仍要直面生存性风险的问题，将保护我们的长期潜力作为核心优先事项之一。
人类从来没有遭受过生存性灾难，但愿我们永远不会遇上。这种规模的灾难在我们的漫长历史中从未出现过。这就给我们试图认识、预测和预防这些灾害，带来了严峻的挑战。更重要的是，这些挑战将永远伴随着我们，生存性风险必定是前所未有的。等到有了先例，就为时已晚了：我们已经失去了未来。为了保护人类的发展潜力，我们不得不在一个从未发生过我们极力避免的事件的世界中制订计划，并实施我们的策略。我们可以探讨一下这种情况带来的挑战，以及如何着手解决这些难题。
首先，我们不能依赖目前的直觉和制度，这些直觉和制度是为了应对中小规模的风险而发展起来的。我们的恐惧直觉在进化水平和文化层面上都不适合处理远不止威胁个人生命的风险——在一个有数十亿人的世界上，在数千年里一次都不允许发生的灾难风险。我们对非常 罕见的事件发生的可能性以及这种风险会在何时过高的直觉也是靠不住的。进化和文化适应使我们对日常生活中的这些问题（什么时候过马路是安全的，是否要买烟雾报警器）有了相当完善的判断，但应对威胁数百人的风险就很勉强了，更不用说应对威胁数十亿人和人类未来的风险了。
我们的制度也是如此。处理风险的法律、规范和组织体系已被设置得只能用来应对我们在过去几个世纪中遇到的中小规模风险。它们没有能力处理过于广泛的风险，正是这些风险将摧毁全球所有国家，其严重程度将导致没有任何法律机构能保留下来惩戒罪魁祸首。
第二个挑战是我们不能承受哪怕一次失败。生存性灾难会使我们失去从失败中学习的能力。人类通常严重依赖试错来管理风险。我们根据迄今看到的损失来调整投资规模或监管水平，我们通过详细检查灰烬来研究如何防范新的火灾。
但这种被动试错的方法在涉及生存性风险时根本行不通。我们需要采取积极主动的措施：有时要提前很长时间，有时要付出巨大代价，有时还要在不清楚风险是否真实存在或措施是否能解决风险的情况下采取行动。这就需要建立制度以获得与即将到来的风险相关的最前沿信息，需要有能力采取果断行动，并有意愿将之实现。针对许多风险而言，这种行动都可能需要世界各国之间的迅速协调。而且即使我们可能永远也无法知道这些代价高昂的行动是否真的有用，我们也必须采取行动。说到底这需要建立新的机构，这些机构要由众多头脑敏锐和具备正确判断力的人组成，拥有大量预算，能够真正影响政策。
这些都属于极难做出健全决策的情况，也许连目前运作得最好的机构都没有能力应对这样的挑战。但这就是我们的处境，我们需要面对它。机构能力需要迫切提高以满足这些要求。
这些机构何时应该采取行动，本身就是一个十分难以回答的问题。一方面它们要能实施强有力的行动，即使在证据达不到最高科学标准的 情况下。然而，这使我们面临着追逐幻象的风险——被要求（或被迫）在证据不足的情况下做出重大牺牲。如果风险涉及机密内容或信息危害，而这些内容和危害又不能公开让公众监督和回应，那就会带来更大的问题。这方面的挑战与政府宣布进入紧急状态的能力所带来的挑战类似：应急权力对于处理真正的紧急情况是必不可少的，却有可能被严重滥用。
第三个挑战是知识储备的问题。我们如何预测、量化或认识从未发生过的风险？预测新技术带来的风险是极其困难的。想想第一次允许汽车上路的情况。当时人们还不清楚这有多危险，但是汽车一旦上路，并且已经行驶了数百万英里，我们就可以通过观察统计频率来轻松确定 风险。这让我们看到收益是否大于风险，新的安全改进措施能带来多少收益，以及哪些改进是最有用的。
在生存性风险的问题上，我们没有这样以长期频率为基础而得出风险概率的记录提供帮助。相反，我们不得不在无法得知有关风险的可靠概率的情况下做出重要决定。这就制造了严重的障碍，让我们难以在有关生存性风险的决策过程中使用概率进行预测。这个问题在气候变化的研究中已经存在，并在制定政策时造成了很大的困难——如果问题的政治化导致人们在解释模棱两可的证据时出现明确或隐含的偏见，就尤其如此。
冷战期间人们对核战争带来的生存性风险的担忧经常被轻视，理由是我们还没能证明其中的风险很高。但当涉及生存性风险时，这将是一个不可能达到的标准。我们的科学实证规范要求多次重复实验，而且其前提是假设这些实验可以实现且成本不高。但在生存性风险的情况，这两个假设都无法成立。正如卡尔·萨根所说的那样：“理论中涉及的世界末日是无法用实验来验证的，或者至多只能有一次实验的机会。”
即使没有生存性灾难的记录，我们也有一些方法来估计概率或概率的范围。例如在第三章中我们看到了如何利用人类和类似动物的存续 时长来对自然风险整体概率得出一个非常粗略的估计。我们还可以关注几近酿成生存性灾难的事件，既包括已经发生的最严重灾难（如黑死病），也包括差点发生的生存性灾难（如古巴导弹危机）。这些可以帮助我们了解一些事情，比如社会对大型灾难的适应力如何，或者我们不完善的信息如何导致国家背离初衷，大步踏向一场毁灭性战争的边缘。我们需要从这些案例中学习一切可以学习的东西，即使它们不能精确类比 我们所面临的新风险，因为它们可能是我们拥有的最有用的东西。
在风险分析领域，接近生存性灾难的事件有时候会被系统化地利用起来。有一些技术会根据出现过的故障先例组合来预测前所未有的灾难发生的概率。例如，为评估核导弹发射系统的可靠性而开发的故障树分析经常用于帮助防范飞机坠毁和核泄漏等低频风险。
预测人类灭绝的风险时有一个特殊的挑战。不管可能性有多大，我们都不可能目睹人类在过去灭绝。这样一种选择效应会扭曲一些与灭 绝有关的灾难在历史上的记录，即使它们不一定会导致灭绝。例如，我们也许不能直接使用人们对小行星碰撞或全面核战争的观察记录。从我 们所知道的情况来看，这些选择效应似乎并没有对历史记录造成太大的扭曲，但关于这个主题的论文只有少数几篇，一些方法论问题也有待解决。
最后一个挑战涉及所有小概率的高代价风险。假设科学家预测一个前所未有的技术风险造成生存性灾难的概率极小，比如说万亿分之一，我们能在分析中直接使用这个数字吗？很可惜，我们不能。问题是科学家们错误估计了这个概率的可能性比万亿分之一大很多倍。回想一下，他们没能准确估计“喝彩城堡”爆炸时的规模——如果误算的概率真的很低，就不应该出现这样的情况。所以，如果灾难真的发生了，更有可能是因为预测错误，并且实际的风险更高，而不是因为万亿分之一的事件发生了。
这意味着万亿分之一的数字并不是有决定性意义的概率，决策者 需要使用更高的数字来调整这一概率。目前还不太清楚他们应该以何种方式进行调整。有一种普遍的观点认为我们虽然不能确定基础物理概率，但这不能成为忽视风险的理由，因为真实的风险可能更高，也可能更低。甚至可以说，当初步预测的概率很低时，严格地估算不确定性往往会使情况变得更糟，因为真实的概率可能会高得多而不是低得多。
生存性风险领域所带来的这些不同寻常的挑战并非不可克服。它们要求我们在对前所未有的风险进行测算和评估的理论认识方面取得进步。它们要求我们改进对颠覆性技术的前景审视和预测。它们还要求我们更好地将这些技术和想法纳入决策当中。
“我们需要激励自己和子孙后代开展艰苦工作，这将是保护未来和度过“危崖时期”所需要的努力。
保护人类是一项全球公益事业。正如我们先前所看到的，即使像美国这样的强国，也只拥有世界人口的1/20，因此只能从预防灾难带来的回报中获得大约1/20的利益。因此，民族国家之间的行动失调会导致集体行动困难。每个国家都没有足够的动力去采取减少风险的行动 以及避免引起风险的行为，而是更想占其他国家的便宜。正因如此，我们应该预料到减少风险的活动会不足，而增加风险的活动则会过多。
这就需要国际协作以应对生存性风险。只有我们像分享这些政策的收益一样分担这些政策的成本时，国家的参与动力才会与人类的参与 动力相一致。虽然各国偶尔会为了全人类的更大利益采取行动，但这是 例外而非常规行为。多边行动可以解决这种公地悲剧，把指望各国奉行利他主义，换成指望他们会谨慎行事：这虽然不算完美的解决办法，却是好得多的选择。
而且，集中开展一些关于保护人类的国际工作会有好处。这将有助于我们集中专业知识，分享观点，并促进协作。它还可以帮助我们推行需要统一响应的政策，这在目前属于最薄弱的环节：例如，勒令暂停危险的研究，或者管控地球工程的使用。
因此，有必要设立关注生存性风险的国际机构以协调我们的行动。但现阶段这些机构应采取什么形式还不是很清楚。其中包括变革应该是 渐进式的还是激进式的，机构应该是咨询式的还是监管式的，以及它们的责任范围应该是大还是小等问题。我们的选项范围很广，从对小机构的渐进式改善，到对联合国安全理事会等关键机构的重大变革，一直到管理全球最重要事务的全新机构。
毫无疑问，许多人会认为国际治理的大变革是不必要的，或者是不现实的。但考虑一下联合国的成立，它是为了应对“二战”的悲剧而对国际秩序进行大规模重整的一部分成果。破坏人类的全部发展潜力将比“二战”糟糕得多，因此对类似规模的国际机构进行重新整顿或许是完全合理的。虽然现在可能没有什么需求，但在不久的将来，如果公众强烈意识到某种风险，或者出现一场起到警示作用的全球灾难，可能就会有需要了。因此，我们应该对理想的国际机构持开放态度，同时考虑对现有的机构进行较小的改革。
我们的政策选择也是如此。当我们清醒地认识到所处的新形势并接受人类的脆弱性时，我们将面临巨大的挑战。但我们也会发现新的政 治可能性正在出现。起初看似不可能的应对措施也许会成为可能，随着时间的推移，甚至变得势在必行。正如乌尔里希·贝克所说：“人们可以提出两种截然相反的论断：全球风险会激发令人瘫痪的恐惧，或者全球风险会创造出新的行动空间。”
审视我们目前困境的一种方式是，现有的全球秩序将人类分割成许多主权国家，每个国家都有相当可观的内部一致性，但与其他国家的协作却很松散。即使从生存性风险的角度来看，这种结构也有一些优势，因为它允许我们将一个坏政府可能让人类陷入一种可怕的锁定状态的风险降到最低。但是，随着一个国家，甚至一个国家内的一个小集团，越来越容易威胁到整个人类，平衡可能会开始改变。而195个国家或许意味着195个治理不善导致人类毁灭的可能性。
早期一些重要的生存性风险思考者提出，生存性灾难的可能性越来越大，要求人类走向一种世界政府的形式。例如，爱因斯坦在1948年写道：我主张建立世界政府，因为我相信，没有其他可行的办法来消除人类有史以来最可怕的危险。避免彻底毁灭的目标必须优先于任何其他目标。
世界政府是一个含糊不清的概念，这个词对不同的人有不同的含义。例如，它有时被用来指任何国家无法相互发动战争的情况。这种情 况下它几乎是世界永久和平的同义词，而且相对来说不会招致反对（尽管实现起来无比困难）。但这个词也被用来指一个政治上同质化的、只有一个控制点的世界（大致指世界变成了一个大国）。这一点争议更大，可能会由于全球极权主义或人类长期被不良价值观锁定而增加整体生存性风险。
而我认为，要想更好地实现生存性安全，就必须有最低限度的国际约束，以防止一两个国家的行为者危害整个人类的未来。也许可以制定一种人类宪法，并将保障我们未来的首要需求以及所需的资金和执行机制写入宪法，以此来实现这一点。这可能使我们超越任何现行的国际法或机构，但还远远达不到世界政府的程度。
那么较小的变化——例如改善国际协作，在成本框架内提供大量的安全保障是否可行呢？历史上一个很好的例子可能是莫斯科—华盛顿热线（俗称“红色专线”）。古巴导弹危机期间，肯尼迪和赫鲁晓夫之间的信息经常需要几个小时才能被接收和解码。但是古巴当地的最新事态发展速度快得多，使得外交解决方案（和对明显敌对行为的解释）跟不上节奏。之后肯尼迪和赫鲁晓夫建立了通话热线，领导人之间可以进行更快、更直接的沟通，以避免未来的危机如此接近爆发的边缘。这是一个简单而成功的降低核战争（以及更普遍的大国战争）风险的方法，而且几乎不需要付出金钱成本或政治代价。也许还有其他类似的想法正等待着被发现或实施。
而且可能还有更明显的方法，比如只是强化与生存性风险有关的现有制度。举个例子：让《禁止生物武器公约》向《禁止化学武器公约》看齐，将其预算从140万美元增加到8000万美元，赋予其调查可疑违约行为的权力，并将其工作人员从仅有4人增加到与其作用更相称的水平。我们还可以增强世界卫生组织通过快速疾病监测、诊断和控制来应对新出现的大流行病的能力。这包括增加世卫组织的资金和权限，以及研发必要的技术。我们要确保对所有的DNA合成进行筛查，以免危险的病原体混入其中。DNA合成企业在这方面已经有了不错的进步，目前80%的订单都要经过筛查。但80%还是不够，如果我们不能通过自愿努力实现全面筛查，就需要某种形式的国际监管。
一些最重要的国际协作可能发生在国与国之间。重启《中程导弹条约》（INF）可以成为明显的第一步。这项裁减军备条约销毁了美国 和俄罗斯核武库中的2692枚核导弹，但在违约行为持续十年后于2019年暂停。人们还应该确保延续将于2021年到期的《新削减战略武器条约》，这一条约已经大幅减少了核武器数量。
虽然核问题通常是通过双边或多边协议解决的，但也可能有些单边行动是符合所有国家利益的。例如，倘若美国解除其洲际导弹一触即发的警戒状态，将会减少意外触发核战争的可能性，却不会失去太多威慑作用，因为其核潜艇仍然能够发起毁灭性的报复。这很可能会降低核 战争的整体风险。
另一个有希望促成渐进式变革的途径是明令禁止和惩罚故意或轻率地造成不必要的灭绝风险的行为。国际法的用途就在于此，因为造成这种风险的人很可能是国家政府或国家元首，仅仅是本国法律可能会豁免他们。
对所有活着的人和我们的整个未来造成危险可能是一种严重的罪行，这一想法天然符合人权法和危害人类罪背后的常识。将这一理念与实际的法律体系协调起来以及确定起诉所需的门槛将面临巨大的现实挑战。但这些挑战是值得应对的——我们的子孙在得知威胁人类存续的行径曾经完全合法时会无比震惊。
有一些令人鼓舞的迹象表明，这种保护措施可以在国际上获得支持。例如联合国教科文组织在1997年通过了《当代人对后代人的责任宣言》。该宣言的序言表明其认识到人类的存续可能受到威胁，为此在联合国的使命范围内采取行动：
意识到在历史上的这一时刻，人类的生存及其环境受到威胁，强调充分尊重人权和民主理想是保护子孙后代的需要和利益的重要基础……铭记子孙后代的命运在很大程度上取决于今天的决定和行动……深信在广泛的、面向未来的视角下为当代人制定行为准则是一项道德义务……
宣言的条款列出了国际社会应采取的理念，包括第3条：“当代人应努力确保人类的维持和延续。”这一宣言显然没有改变世界，但它确实指出了如何在国际人权框架内表达这些思想，并表明这些思想在最高层是得到认可的。
在过去30年里，少数国家和地区采取了显著措施调整其民主体制，以更好地代表后代的意见。它们是在回应对标准民主形式的批评：这些形式不能代表可能因我们的决定而遭受不利影响的未来民众。有人可能会认为这是当代人对未来的暴政。显然我们不能简单地通过让未来的人在将对他们产生影响的议题上投票来解决这个问题，因为他们还没有出生。但我们有时确实清楚他们会对政策有什么看法，所以如果我们认真对待这种批评，就可以通过代理人来代表他们：例如监察员、委员会或议会委员会。它们可以是咨询性质的，也可以被赋予一些实权。
迄今为止，这些关于未来世代具体代表权的试验主要集中在环境和人口问题上。但这一想法当然也适用于生存性风险。这种试验可能会 在国家层面取得一些成功，如果有某种方式将其带到世界舞台，将代际协作和国际协作结合起来，就会更加有力。可以采取渐进式或激进式变 革的方式来这样做。
人类杰出的技术进步一直是本书的主题之一。正是它使人类能够形成村庄、城市和国家，使我们得以创造出最伟大的艺术作品，使人类的寿命大大延长，赋予我们极度丰富的多样性经验。它对我们的生存也至关重要：因为如果没有更多的技术进步，我们最终会被小行星等潜在 自然风险毁灭。而我相信，我们所面临的最好未来——那些将真正发挥我们潜力的未来——将需要我们尚未实现的技术，如廉价的清洁能源、先进的人工智能或进一步探索宇宙的能力。
因此，尽管我们面临的最大风险是技术风险，但放弃技术进步不是解决办法。那么如果让技术进步得慢一些呢？这也是一种解决方案吗？这样做的影响之一是技术风险将推迟发生。如果我们把一切有风险的新技术推迟一个世纪，那可能意味着今天所有活着的人都可免于在生 存性灾难中死亡。从这个角度来看，这将是一个巨大的利好。但对我们的未来、过去、我们的优势或我们在宇宙中的重要性帮助不大。哲学家J.J.C. 斯马特是最早思考生存性风险的人士之一，他也注意到了这一点：
事实上，从未来可能发生的数百万年进化的角度来看，最后的灾难仅仅推迟（比如说）几百年又有什么关系呢？只有当推迟被用作一个喘息的空间，在这个空间里找到避免最终灾难的方法时，推迟才有很大的价值。
我认为我们目前的困境源于人类力量的快速增长超过了我们的智慧缓慢而不稳定的增长。如果这是对的，那么放缓技术进步应该可以给我们一些喘息的空间，让我们的智慧有更多赶超的机会。放缓我们各方面的进步可能只是延缓灾难的发生，但减缓我们的力量相对于智慧的 增长速度从根本上说应该是有帮助的。
我认为更有耐心和更谨慎的人类确实会努力限制这种愈加明显的趋势。最重要的是，人类将努力增长自己的智慧。但是，如果我们增长智慧的速度是有限的，那么减缓人类力量的增长速度也是有意义的——不一定要把脚踩在刹车上，但至少踩油门的时候轻一点儿。
我们看到，人、类就像一个青春期的孩子，体能发展迅速，智力和自制力滞后，很少考虑自己的长期未来，对风险抱有不健康的渴望。而对于我们自己的孩子，我们设计的社会规划有意让他们分阶段接触有风险的技能：例如在他们达到适当的年龄并通过资格测试之前不得驾驶汽车。
我们可以想象对人类采用类似的方法。不放弃技术领域，而是接受在某些情况下我们需要达到一个特定的标准才算得上做好准备。例如， 只有在一百年内没有发生重大战争的情况下才能发展核武。但不幸的是，这里有一个重大难题，与我们自己孩子的情况不同，并没有明智的成年人来决定这些规则。人类将不得不制定规则来管理自己。缺乏智慧的人通常没有能力看到这一点，缺乏耐心的人则不太可能接受延迟满足。
因此，虽然我认为一个更成熟的世界确实会将其破坏能力的增长限制在能得到适当管理的水平上，但目前提倡这样做没有多大价值。减缓技术发展的重大努力需要所有主要参与者之间达成国际协议，否则，技术发展只会在最没有社会责任感的国家里继续进行。由于世界距离达成这样的协议还很遥远，所以少数关心生存性风险的人花精力来推动技术减速发展是没有效果的（很可能会适得其反）。
相反，我们应该把精力用于促进负责任地运用和管理新技术。我们应该说明，技术进步所带来的前所未有的力量要求我们承担前所未有的责任，不管是实践者还是监督者。
技术给我们生活质量带来的巨大改善是需要代价的。它们伴随着风险影子成本。我们专注于看得见的利益，却在积累也许有一天需要偿还的隐性代价。如果我们不改变技术发展的步伐，我们至少要确保用技术带给我们的某些繁荣来弥补这些代价。例如，重新投入哪怕只有1% 的技术红利，以确保人类潜力不会因为技术的进一步发展而遭到破坏。
这种技术治理可以在许多层面上进行。最明显的是由负责治理的相关者如政治家、公务员和公民社会来开展，但我们也可以通过在学术界、专业协会和技术公司从事相关科学和技术工作的人做出的宝贵贡献，来构建起彼此之间的桥梁。这些从业人员可以花更多的时间来反思自己和同行的工作所产生的伦理影响。他们可以制定自己的指南和内部规范，还可以投入时间与政策制定者合作，确保国家和国际法规在科 学和技术上是行得通的。
《蒙特利尔议定书》是成功治理的一个好例子，它为逐步淘汰耗损 臭氧层的化学品制定了时间表。科学家、工业界领导人和政策制定者之间进行了迅速而广泛的合作，最终达成了科菲·安南所说的“也许是迄今为止最成功的一项国际协定”。
另一个例子是关于DNA重组技术的阿西洛马会议。在这次会议上，该领域的重要科学家考虑了他们的工作可能带来的新危险。作为应对手段，他们为进一步的研究设计了新的安全要求，并彻底限制了一些发展路线。
技术治理的一个值得关注而又被忽视的领域是技术的差异化发展。虽然防止开发危险技术可能过于困难，但我们也许能够通过加快开发可以防范危险技术的保护性技术来减少生存性风险。研究资助者可以发挥这种作用，将其作为一项原则，用于设计资助要求和分配赠款，对保护 性技术给予额外的重视。研究人员在几个有前途的研究方案中进行选择时，也可以利用这一原则。
如果人类每个世纪都受到重大风险的威胁，那么我们就处于不可持续的状态中。难道我们不应该试着尽快度过这个风险期吗？答案取决于我们所面临的风险类型。
有些风险与事物的易损状态有关。我们把这些风险称为状态风险。许多自然风险都是状态风险。人类仍然容易受到小行星、彗星、超级火山喷发、超新星和伽马射线爆发的影响。威胁存在而又难以抵挡的状态延续的时间越长，我们被生存性风险击倒的可能性就累积得越大。我们成功度过一段时期的可能性以一个衰减指数为特征，半衰期由年度风险决定。面对状态风险时，我们结束易损状态的速度越快越好。如果需要技术来结束这种易损状态，那么我们最好尽快实现这种技术。
但并非所有的风险都是这样。有一些属于过渡期风险：在向新的技术或社会制度过渡的过程中出现的风险。例如，当我们开发和部署变革性通用人工智能时出现的风险就是这样，当我们向高能文明过渡时出现的气候变化风险也是这样。仓促转型可能无助于降低这些风险，反而会适得其反。但如果转型是必要的或者是非常可取的，我们可能在某些时候不得不经历这个过程，所以仅仅采取拖延策略并不是一个解决方案，而且还可能使事情变得更糟。应对这些风险的普遍解决办法既不是急于求成，也不是拖延行事，而是以小心谨慎和富于远见的方式去处理。
我们面临的一系列风险既包括状态风险也包括过渡期风险。但如果我的分析是正确的，那么过渡期风险要比状态风险大得多（很大程度上是因为其中的人为风险较多）。这表明匆忙草率 地推动整体技术进步是没有必要的。总的来说，实现生存性安全的同时尽可能减少累积风险的愿望决定了我们要保持平衡。我认为最好的办法是有针对性地加速所需的科学技术发展，以克服最严重的状态风险，同时把足够的远见、谨慎和协作结合起来，以应对最严重的过渡期风险。
虽然我们目前的状况是不可持续的，但这并不意味着补救办法是尽快达到更可持续的年度风险水平。我们的最终目标是长期的可持续性：保护人类的发展潜力，使我们有最大的机会在未来的岁月里发挥我们的潜力。因此，正确的可持续发展概念不是尽快进入可持续发展的状态，而是要有一个可持续发展的轨迹：以最优的方式保持平衡，使达到目标的过程中出现的风险被达到目标后提供的保护抵消掉。这可能需要我们在短期内承担更多风险，但前提是这些风险足以降低长期风险。
对生存性风险的研究还处于起步阶段。我们只是刚开始了解所面临的风险和处理这些风险的最佳方法。而在概念基础、道德基础或人类的大战略方面，我们处于更早的阶段。因此我们尚未做好果断行动的充分准备，以保护人类的长期发展潜力。这使得对生存性风险的进一步研究特别有价值。它将帮助我们决定应该采取哪种行动，并发现我们还没有想到过的全新举措。
其中一些研究应该着眼于具体的议题。我们需要更好地了解生存性风险——它们发生的可能性、发生机制以及减少风险的最佳途径。虽然针对核战争、气候变化和生物安全已经有了大量研究，但对于每个领域中最极端的事件，也就是那些对人类本身构成威胁的事件，研究还很少。我们同样需要针对如何使通用人工智能与人类的价值观对齐进行更多技术研究。
我们还需要进一步研究如何解决大国战争等重大风险因素，以及加强研究重大安全因素。例如，研究什么样的机构能最有效地促进国际协作或代表人类后代，或者研究有什么方法最能提高我们的适应力，让我们更有机会从非致命灾难中恢复过来。我们需要找到新的风险因素和安全因素，让大家有更多办法来应对生存性风险。
除了关于具体议题的众多研究领域之外，我们还需要对更抽象的问题进行研究。我们需要更好地理解长期主义、人类的发展潜力和生存性风险：完善这些观念，使其无懈可击；理解它们所依赖的道德基础是什么，它们意味着什么道德承诺；以及更好地认识人类面临的重大战略问题。
这些领域听起来可能宏大又难以企及，但在这些方面取得进展是有可能的。想想我们在本书中探讨过的观点，有些是非常宏观的：人类跨时代的广阔视野，危崖时期，以及保证人们未来的紧迫程度。但许多观点可以提炼成一些小而精的见解。比如一场灾难杀死100%的人可能比杀死99%的人要糟糕得多，因为你失去了整个未来；人类迄今为止的生存时长严格限制了自然风险的发生；减少生存性风险的需要总是得不到满足，因为它是一种代际的全球公共益品；还有状态风险和过渡期风险的区别。我相信还有更多这样的思想正等待着我们去发现。而且其中有许多不需要任何特殊的训练就能找到或认识到：只需要一个寻找模式、工具和解释的善于分析的头脑。
也许令人意外的是，许多这类生存性风险研究已经获得了资金。一些有远见的慈善家已在认真对待生存性风险，近期开始资助关于关键风险及其解决办法的顶层研究。例如“开放慈善项目”资助了一些最新的核冬天建模项目，以及人工智能技术安全、大流行病预防和气候变化方面的工作——重点研究最极端的情况。在我撰写本书期间，这些慈善家渴望资助更多这样的研究，他们不缺资金，而是缺优秀的研究 人员来研究这些问题。
而且已经出现了一些专门研究生存性风险的学术机构。例如剑桥大学的生存性风险研究中心和我所在的牛津大学人类未来研究所。这些机构让来自各学科的志同道合的研究人员聚集在一起，共同研究保卫人类的科学、伦理和政策。
这一章讲的是我们应该做什么来保护我们的未来。但知道不应该做什么也同样有用。以下是一些建议：
（1）
不要过早地进行监管
在适当的时候，监管可能是减少生存性风险的一个非常有用的工具。但现在我们对如何最有效地做到这一点知之甚少。推动考虑不周的监管将是一个重大错误。
（2）
不要单方面采取不可逆的行动
有些对策可能会使我们的困境更加恶化（想想激进的地球工程或公布天花基因组）。所以，我们应该警惕单边主义诅咒，在这种情况下，单方面采取行动的能力会让那些最乐观的预测者产生应该行动的偏见。
（3）
不要传播危险信息
研究生存性风险意味着探索我们世界的易损性，有时这反而会带来新的危险。除非我们小心翼翼地管理这些信息，否则我们就有可能使自己变得更加脆弱。
（4）
不要夸大风险
人们自然而然地倾向于将生存性风险的说法视为夸大其词。夸大风险就会起到这种作用，使人们更难在众说纷纭之时看到冷静审慎的分析。
（5）
不要太狂热
保卫我们的未来极其重要，但它不是人类唯一的优先事项。我们必须在行善的世界里做一个好公民。无休止地谈论这项事业，以致烦扰他人，会适得其反。劝诱他人相信这项事业比他们所珍视的事情更重要则是更糟糕的行为。
（6）
不要陷入部落主义
保卫我们的未来不分左派右派，不分东方西方，不分富贵贫贱。它不属于任何党派。把它限定为有争议的分歧中任何一方的政治问题将是一场灾难。每个人都与我们的未来息息相关，我们必须共同努力保护它。
（7）
不要伪善行事
当一些极为重要的事危在旦夕，而其他人却在拖后腿的时候，人们就会觉得自己有资格为了成功而不择手段。我们决不能向这种诱惑屈服。一个人如果伪善地行事，就会玷污整个事业，破坏我们希望实现的一切。
（8）
不要绝望
绝望会消耗我们的精力，影响我们的判断，并 使那些寻求帮助的人望而却步。绝望是一种自我应验的预言。虽然风险是真实而巨大的，但我们知道没有任何风险是我们解决不了的。保持斗志昂然，我们就能成功。
（9）
不要忽视积极的一面
虽然风险是人类面临的核心挑战， 但我们不能让自己被风险定义。对未来的希望激励着我们。铭记这一点是我们思考的中心，将为我们和其他人带来保卫未来所需的激励。
本章的大部分内容都关乎宏大的问题，探讨了人类怎样做能在“危崖时期”找到方向并实现其发展潜力。但是在这些重大问题和主题中， 每个人都可以为保护我们的未来发挥作用。
为世人行善的最佳途径之一是完成我们的本职工作。我们每个人在职业生涯中有大约8万个小时用于解决某种或大或小的问题。这在我们生活中占了如此大的一部分，如果我们能将其用于解决某个最重要的问题，就能产生巨大的影响。
如果你从事计算机科学或编程工作，你或许可以将职业转向帮助解决人工智能带来的生存性风险：围绕人工智能对齐问题进行急需的技术研究，或者为一个认真对待风险的人工智能项目担任工程师。如果你从事医学或生物学工作，你或许可以帮助解决基因工程大流行病的风险。如果你从事气候科学研究，你可以致力于提高我们对极端气候状况发生的可能性和影响的认识。如果你在政治学或国际关系领域，你可以致力于生存性风险方面的国际合作，确保后代在民主机制中获得发言权，或防止大国之间的战争。如果你在政府工作，你可以通过安全或技术政策方面的工作来帮助保护未来。
机会并不局限于和生存性风险直接相关的工作。相反，你的努力可以让从事直接工作的人影响倍增。目前一些最紧迫的任务处于战略、 协作和款项投入等上游层面。随着人类开始认真对待保护未来这一挑战，在项目和组织之间分配资源、建立和维持研究人员群体以及完善战略方面将出现重要的工作。而一些最紧迫的工作在于改善那些抵抗生存性风险的组织的执行情况，扩大其影响范围。许多人都在寻找能够真正理解这种特殊使命的技能型人才。如果你有这些技能中的任何一项，例如有从事战略、管理、政策、媒体、运营或行政协助工作的经验，那你就可以加入目前致力于应对生存性风险的某个组织。
如果你是一名学生，你就处于一个非常灵活的位置，你可以做很多事情来引导自己的职业发展，使你的数万小时能够产生最大影响。即使你已经选择了一个领域，或者进入了研究生阶段，改变方向也是非常容易的。你在职业道路上走得越远，改变方向就越困难。但即便到了那时，改变方向也是值得的。损失几年时间进行再培训，可能会让你花几倍时间去做可以带来更多倍好处的工作。这是我从个人经验中体会到的。我一开始是学计算机科学的，后来才转到伦理学。然后在伦理学的范围内，我的工作重点只是在最近才从全球贫困问题转移到与之截然不同的围绕生存性风险的议题上。
如果你的职业与上述不符，却又无法改变怎么办？最理想的情况是有某种方法能把你最擅长的工作变成最急需的工作，以保护我们的发 展潜力。幸运的是，有这么一种方式：通过你的捐赠。当你把钱捐给某项事业时，你就有效地把自己的劳动转化成为该事业做出的额外努力。 如果你更适合现在的工作，而你所支持的事业又因缺乏资金而受到限制，那么捐赠甚至比直接为之服务更有帮助。
我认为捐赠是一种非常有效的方式，几乎任何人都可以通过这种方式提供帮助，这也是我回馈世界的一个重要方式。人们常常忘记，一些人类最伟大的成功是通过慈善实现的。
避孕药是20世纪最具革命性的发明之一，由一位慈善家促成。
世纪50年代，在各国政府和制药公司对这一理念兴趣不大时，慈善家凯瑟琳·麦考密克基本上是独力资助了避孕药的发明研究。
大约在同一时期，人们见证了现在被称为绿色革命的农业科学突破。这场革命通过培育出高产的主食作物品种，让数亿人摆脱了饥饿。领导这些研究的科学家诺曼·博洛格因其贡献而于 1970年获得诺贝尔和平奖。博洛格的工作以及这些技术在发展中国家的推广都是由私人慈 善家资助的。
最后，我们每个人都可以发挥作用。我们需要就人类的长期未来进行公开对话：讨论今后能够实现的宏大成就，以及威胁到所有成就和全人类的风险。
我们需要在学术界、政府、公民社会中讨论这些事情；在严肃的虚构作品和媒体中探讨各种可能性；在朋友之间和家庭内部谈论这个问题。这种对话需要超越两极化和党派化的诱惑，也不能只顾着指责各方。也就是说，我们需要一场成熟、负责任和建设性的对话：把焦点放在认识问题和寻找解决方案上。我们需要激励自己和子孙后代开展艰苦工作，这将是保护未来和度过“危崖时期”所需要的努力。
你可以和你在乎的人讨论未来的重要性。你可以在居住、工作、学习的地方或网络上与越来越多有类似想法的人接触。你可以努力成为 一个有见识、有责任心且警觉的公民，随时了解问题，并在重要时机出现时敦促能在政治上代表你的人采取行动。
（具体的行动切入点参见原书第 238 页的“资源”部分。本文节选自《危崖：生存性风险与人类的未来》）
出版社: 中信出版社·新思文化
出品方: 新思文化
标题：危崖
副标题: 生存性风险与人类的未来
原作名: The Precipice: Existential Risk and the Future of Humanity
译者: 韦斯琳
出版年: 2021-10-21
页数: 440
定价: 98
装帧: 精装
ISBN: 9787521732269
