离线、在线、在场
刚才大家看到的不是电影，也不是预先制作的CG，而是我们投资的Epic Games于12月下旬发布的《黑客帝国：觉醒》的实际体验。这是一个基于虚幻5游戏引擎开发的可交互体验程序，得益于最新的虚拟几何体及动态全局光照技术，用户可以在这个十六平方公里、融合了许多美国大都市标志性建筑的虚拟城市中，感受电影《黑客帝国》世界观下的每一个细节，可谓纤毫必现。
我们自研的游戏引擎QuickSilver，也能以全局光照、超写实渲染的方式将大家瞬间带入到小说《天涯明月刀》所描绘的古风武侠世界。
可以说，最新的游戏科技驱动的仿真技术，已经让我们越来越难以区分虚拟与现实。
不知道大家有没有注意到，除了电影级的超写实能力，这段演示中的城市已尽可能在逻辑上模拟了现实，是一个鲜活的、有生命力的环境。无论我们是否在看着它们，由AI驱动的逼真角色和车辆红绿灯交通系统都在自然、有序地不停运转。
为什么要和大家分享这个视频呢？
今天想要聊的话题，可能会有些抽象，所以我想先从一个和刚刚这段视频相似的内部故事说起。
有些朋友可能已经听说了，腾讯计划在深圳大铲湾的一个半岛上，建立一个全新的未来总部。新总部的名字还没有最终定下来，但我们内部的昵称是“企鹅岛”。
现实中的企鹅岛，预计几年后才能完成首批交付启用。作为一家科技公司，过去我们在智慧城市、游戏方面有许多积累，所以自然会想到要做一些“有意思的事情”。
所以，在前段时间，我们按照设计方案在一款沙盒游戏中搭建了这个企鹅岛的数字孪生。一方面是去探索游戏所积累的仿真、AI等科技在建筑设计等场景的应用，另一方面也是在这个相对拟真的环境中去验证我们的规划，交通能源等系统的设计是否合理，以一种更低成本的方式去优化和“试错”，去更科学地规划我们的未来总部。
由于我们希望模拟出真实智慧城市的交通控制系统，让游戏中的公交和现实中的一样：等红灯，自动避让，等人上下车，还要有一些比如满载时候的甩站等操作。因此，一般游戏中常见的那种固定轨迹的、绕着圈走的公交逻辑就不太可行了。
因此，团队在其中引入了真实的自动驾驶仿真系统，让游戏里的载具，去真实感知周围的环境，通过机器学习不断优化，而不是按照事先设定的逻辑去行驶。
听到这里，大家会发现城市仿真和游戏的区别是要最大限度地还原现实生活场景。游戏中的位移通过传送门瞬间就实现了，能让游戏玩家节约时间，避免重复操作。但应用在数字孪生中，出于城市仿真的角度，就必须加上等车、坐车、堵车这些现实中非常频繁并且十分重要的场景。
这里就引出了今天我想分享给大家的话题，从虚拟在线到仿真在场，我们缺失了什么？或者说要实现在线到在场的跨越，我们还需要什么？
我们来谈谈一个大家都熟悉的场景——在线办公。
在经历过疫情之后，现在大家应该都能熟练掌握各类在线办公工具了，我们用邮箱、用企业微信、用腾讯会议、在线文档这样已有的产品，把信息沟通、文档流转和办公自动化这些事情，从办公室线下搬到了线上，实现了非常高效的远程办公。
但这个时候，Facebook做了一件非常奇怪的事情，发布了一个叫Horizon Workrooms 的应用。
这件事情为什么奇怪呢？
这是一个VR程序，它构建了一个VR办公室 ，给我们每个人捏了一个很简单和卡通的 Avatar虚拟形象，然后再让我们使用Oculus 这样的VR设备进入这个虚拟办公室里办公。
可能你会觉得，我都在线办公了，直接发邮件不行么？直接开视频会议不行么？为什么还要在一个虚拟世界里，弄一个只有上半身的卡通形象，去模拟一个上班的场景？
这其实就涉及到在线办公和大家一起在办公室办公到底有什么区别的核心问题，我认为就是缺乏临场感。
面对普通显示器的界面，大家都是一个个的小方块和头像，虽然我们可以无延时对话，看到对方的表情和反馈，进行文档同步协作编辑，但大家只会把它叫做在线办公。而在办公室里一起办公的话，就是大家在一个空间里，能够看到一样的室内室外环境，能够交头接耳，能够左顾右盼，能够有肢体的接触和交互，也能够闻到一样的气味、尝到一样的味道。
Workrooms通过VR技术给大家提供了一种可能性，就是把大家放在一个虚拟的场域空间里，实现线下办公的临场在场感。
Google也试图解决在场的问题。它用光场技术构建了一个裸眼3D的远程会议系统 Project Starline。在这个屏幕面前，你可以随意移动，会议对面的人也会随着你的视线转动，就好像你们真的在面对面一样。
虽然我们还做不到《王牌特工》等电影里所描绘的通过增强现实、全息投影、虚实结合式的在场感，但最新的消费级VR产品已经能欺骗眼睛和大脑，让我们初步感受到在一个虚拟场域中，让大家基于空间音频技术交头接耳，可以在同一个白板上以手柄做笔一起创作。
由于缺乏表情的捕捉能力、触觉嗅觉等能力的模拟，虚拟在场和真正在场在体验上还有很大差距，比如面对面，大家有相互握手的自然反应，这种时候一下子就会出戏。但这无疑已经实现了在线到在场办公的第一步跨越。
与办公相比，演唱会、球赛等人们聚在一起现场观看的活动，更能说明我们为什么要追求在场的体验，也许现场的嘈杂、观看角度甚至还不如在家里对着大屏幕的观看效果，但置身于人群之中，万人合唱、喝彩、嘘声，那种氛围和沉浸感是再大的屏幕也无法给予的。
大家刚刚看到的这段视频，是去年疫情期间，美国歌手Travis Scott在线上游戏《堡垒之夜》中举办的一场虚拟演唱会。这场演唱会有2300万用户参与，这个数量级是线下永远不可能实现的。而且整个场景都实时可互动，观众戴上VR设备，不止能够看到歌手在虚拟空间中化身的动作，聆听环绕身边的音乐，还能在这个过程中看到其他观众的反应和动作，一起挥手、跳跃等等。新的科技让大家足不出户，也能体会到亲临现场的感觉。
那么到底什么才是“在场”？
我认为，在场实际上是一个空间与时间、主体与客体、本我与他我实时同步的状态。
它可以是离线的，也可以是在线的。在没有互联网以前，我们到达某个地方去做某件事情，这是一种“天然”在场。
在线下，我只能存在于一地，我和周遭环境的互动是即时的、同步的，我与场内其他人之间的感受也是同步的、实时的。
但在线上，至少我们过去互联网发展的阶段里，并不是这样的。
比如从90年代开始，为了在只能发文字的互联网上表达情感，网民发明了颜文字，后来有了emoji，emoji又变成了表情包。
但到表情包为止，其实我们都不是“在场”的状态，而是“在线”的状态。
因为表情包没有办法像真正的人脸那样表达那么多复杂的微表情，另外就是表情包是没法实时同步。
现在很多人在聊天的时候，会非常仔细地斟酌自己要发什么表情，这个逻辑就和我们在线下完全不同。
虽然，在线下我们也会假装露出一些表情，但大多数情况下，表情其实是我们即时的真情流露，而不是刻意的精雕细琢。
我们用表情包替代了表情，是因为我们在过去 20年，技术上没有实现足以实时捕捉表情并传递给对方的能力。或者说，为了实现线上即时通讯的效果，我们压缩了情感表达的信息，或降低了情感表达的质量。
苹果公司在2017年发布的Animoji，在一定程度上将“在线表情”向“在场表情”推进了一小步。我们现在也已经看到了大量实时呈现主播表情的卡通形象，活跃在各大直播平台，这增加了趣味性，也满足了匿名化直播的需求。
未来，我们可能会完全补上实时表情的信息缺失，以虚拟人的形式实时出现在远方的现场，实现身体的复制和延伸。
去年9月，一个单身妈妈以虚拟化身的形式，登上了美国综艺节目Alter Ego的舞台。这位妈妈本身是一个很内向的人，所以她选择创造了一个与自己性格完全相反的形象，这让她更有勇气面向观众。
这其中使用的仍然是动作捕捉和面部表情捕捉技术，我们都知道这种技术在过去是十分昂贵的。但在过去10年，它的成本正在快速下降，设备也在变得越来越小型化。可能有朝一日，我们每个人都能像使用智能手机那样，将自己投射到远方或虚拟空间。
希望我明年的演讲，也能以这样的方式来进行。
所以，从离线到在线，基于对效率的追求或者技术的限制，我们将每个社会活动的本源抽象了出来，省略掉了很多细节。从这个角度来说，在线是一种抽象化，它的反义词不是低效，不是公平，而是具象。
从在线到在场的过程，是一个把我们之前丢弃的有价值的细节重新找寻回来的一个过程，随着XR、游戏引擎等各种交互、仿真技术的突破，最终实现线上和线下完全相同的效果。
特别要说明的是，从在线到在场是技术的升级和演进的必然，但并不意味着在场感一定比在线更高级或者一定会取代前者。在线时代，表情包的一图胜千言，异步通信的思考和斟酌留给用户的空间和时间，甚至于微信里的“对方正在输入”带来的期待，恰恰是比当面或在场更有空间，更轻松，也更有意思的地方。
但新技术无疑提供了越来越接近无损的信息传输，和真假难辨的数字仿真能力，为人类的交互和体验提供了新的能力和方案。它能够在人们需要的时候，让远在天边的一群人置身于同一空间沟通和协作，能够在足不出户的情况下，让远程的化身实现亲临现场的表演和演讲，真正实现人的身体的复制和延伸。
我们把以上的情况叫做在场，但很多人肯定也会马上联想到火爆的元宇宙概念。
很多人觉得现在好像什么都是元宇宙，但元宇宙又好像什么都不是。我个人的理解是，元宇宙本身是一种技术渐进式发展的趋势，就像我们在30年前说信息高速公路，10年前说移动互联网一样，概念本身叫什么并不重要，它只是一个巨大的技术应用和孵化的池子。基站、手机、短视频、直播、外卖、可穿戴设备，我们都会把它装进“移动互联网”这个概念里。我们也不会说移动互联网时代的来临，是某个单点技术的突然突破，或者是某个颠覆性的产品的横空出世。
元宇宙也是这样，任何一项技术单点的突破或炒作，都不会把我们瞬间带入到新时代。而我们会在不断的技术涌现和应用中逐渐把我们由在线时代，推向一个“重新在场”的时代。
知名科幻作家刘慈欣曾经说过，人类的科技树有两个方向，其一是星辰大海，另外一个则是在虚拟空间里不断地内卷。
但实际上我们发现，这两个应用方向并不必然冲突，甚至有可能是相互依存的。
因为技术总是以涌现的方式持续出现，我们实际上是无法完全预测每项技术的突破，在未来会产生什么样的应用，带来什么样具体的变化。
比如说，现在看起来移民火星似乎是我们人类迈向星辰大海中重要的一步，但这其中需要的很多技术。可能最终并不来自星辰大海的那一侧。
以我们现在的技术基础，到我们真正实现有一部分人在火星上居住，这中间有一大部分空白。这部分空白是由什么来填补的，如果开个脑洞，可能是由自动化机器人、远程控制和 VR来实现的。
比如在真正的人类“火星在场”之前，在往火星上派机器人建基地之前，要首先实现在虚拟世界中对“火星”的在场。要先给火星建个超拟真的 VR模型，去模拟各种可能出现的情况，就像我们要在沙盒游戏里建的那个虚拟总部一样。
我们会发现，这个过程需要的技术可能源自于完全不同领域的技术涌现与应用。
我们试着拆解一下远程操控机器人建设火星这个场景，按照最简单最粗略的估计，至少得有以下几个方向的突破：
其一是机器人技术，你要有一个身形灵活、能搬能扛的机器人在火星；其二可能是VR和拟真技术，我们要保障远程的操纵员能全视角感受到周边环境，可能还需要有触觉反馈的手套。
这些技术，也许能从当下我们在地球上已经实现的应用中找到雏形。
在去年11月的腾讯全球数字生态大会上，腾讯云和三一智矿有一个合作，实现了在武汉的展厅中远程驾驶一辆位于鄂尔多斯的矿车，甚至驾驶员可以在多辆卡车之间来回切换。操作台与矿车之间有1500公里之远，但整个驾驶过程是几乎无延迟的。
由于火星到地球的单向通讯延时超过二十分钟，加上带宽的限制，我们可能没有办法在地球实时操作工程车在火星作业，但未来这样的技术，也许可以让我们的宇航员在更适宜人类居住的火星轨道上的空间站里，去控制火星上的车辆和机器人建设基地，建设好后再让人员落地，以保障人员的安全。
再比如腾讯的NExT Studios工作室根据火星探测器采集的数据，已经用UE5引擎真实还原了火星地貌，让大家可以身临其境地置身于 5500万公里外的火星上。同时，我们的技术人员还还原了太阳系最大的峡谷——火星水手号峡谷，全长4500公里，相当于从沈阳到曾母暗沙的距离，并尝试着模拟了火星的天气变化和气流运动。
除了供大家体验火星，VR技术的发展早就开始应用到神舟十二号宇航员的日常训练当中。早在2016年的时候，神舟十一号的宇航员在太空中利用VR眼镜与亲人团聚，从而大大缓解远离亲人的焦虑。这也是技术带来的现场感才能实现的心灵抚慰。
机器人这个事情，我们最早看到硅谷的创业公司波士顿动力在做机器狗，能四条腿直立行走，再到双足人形机器人，现在已经能跑、能跳甚至还能空翻。
腾讯的Robotics X实验室在机器人领域也不断进行研究和创新，今年发布的轮腿式机器人Ollie，其做到的360度空翻动作也是同形态机器人中的首次。我们还在机械臂接住抛出的柱状物、球状物等物体方面进行探索，并取得成功。
机器人的快速发展不仅仅出现在新闻稿中，也出现在现实生活中，例如在安防巡检、灭火救灾、家人陪护、养老助残等领域有着非常好的应用前景，未来它们的能力不断进化，也许能够胜任建设火星的角色。
除了视觉和听觉虚拟现实之外，触觉模拟也是一个热点领域。Meta的Reality Labs在前段时间公布了触觉手套的技术。触觉虚拟现实，可能短期内会先在社交与游戏领域找到应用场景，但等到它的水平进一步提升，就可以被用来远程精确操控一些机械设备。
几年前我们就在斯坦福大学的实验室里，看到过触觉虚拟现实已经被应用到远程海底文物打捞的深潜机器人身上。
元宇宙和火星移民都还是大家的想象和愿景，也许都不是我们实际会到达的未来。所以我们反对不负责任的概念炒作，也反对将虚拟世界和现实世界对立起来的立场。
可以肯定的是，相关的技术一定会持续涌现，会不断地把我们的体验从在线推向在场，其中的种种技术创新点，可能会以我们当下还无法想象的方式改变我们的生产生活。我们更应该做的是关注其中的每一项技术的落地和应用，规避和治理它们带来的隐私、健康和伦理风险，让它们在影视、娱乐、工程、生产等领域脚踏实地、一步一个脚印地落地，产生实际的价值。
回到“离线、在线、在场”这个主题，我想表达的是我们要对未来抱有一种“乐观并谨慎”的态度。
技术有它自己的发展步调与应用规律。
上一次参加科技向善大会时，我举了一个安全带的例子。汽车是一项好技术应用，但直到汽车量产50年之后，汽车行业才发明了第一条安全带。现在回想起来，这是一件有些可怕，但又非常值得庆幸的事情。
在更广阔的科技行业里，风险会以更广泛的形式存在。全球的科幻作家创作了无数关于赛博朋克题材的作品，以至于元宇宙这个概念在 2021年刚刚成为风口的时候，就有很多人发出了批评的声音，这样的批评声音是非常有价值和意义的。
但回顾历史，我们也能看到人类一直以来驾驭风险、善用技术的能力。以Xr、数字仿真为代表的科技会带来交互效率的提升，更强的沉浸感，对人类的生活、社交甚至心理都会带来更加深刻的影响。
我们要相信技术进步会为全社会带来的福祉，也要看到技术本身的局限性，既不要冒进，也不要因噎废食。唯有如此，才有可能发挥新技术潜力，惠及大多数人生活，解决传统社会、特别是数字化转型中所面临的难题，使得人类变得更强大、更幸福，这也是科技向善的应有之义。
本文根据司晓于“腾讯科技向善创新周”（2022年1月11-14日）上发表的主题演讲整理而成。
