在刚刚结束的WWDC,苹果发布了他们的第一个人工智能系统Apple Intelligence。作为七巨头中最后一家发布AI系统的大公司,苹果如何定义Apple Intelligence? AI手机、端侧AI的时代是否要到来了?Apple Intelligence对当前的AI生态会带来哪些变化?

 

 

本期嘉宾:

Indigo 前微博创始团队 Brilliant Phoenix Partner 

胡延平 FutureLabs 未来实验室首席专家 

陈   然 前机器学习总监 硅谷AI应用创业者 

Neethan Co-founder of Hallidai 前TikTok Tech Lead

 

节目主理人:

徐思彦 腾讯研究院高级研究员

 

 

来自于AI总结的主要内容:

 

 

 

徐思彦:如何评价这次Apple Intelligence发布会?

Indigo: 我对发布会很期待,我觉得今年的WWDC很有时代意义。因为时代在改变。虽然苹果可能被迫做出动作,但实际上苹果早就开始行动了。他们通常会等市场比较成熟时才会采取行动。现在的苹果不同于过去,他们需要维护他们的市场。因此,他们需要有全面的计划来保护市场,包括发展人工智能。他们的重点应该是他们的设备,如iPad,iPhone和Mac,以及在这些设备上运行AI。

发布会的重点是在设备上运行AI,也就是apple intelligence。这是一种混合AI,可能会有一些合作伙伴,如OpenAI。不过,苹果的主角还是自己。他们的AI是在设备上运行的,并且有清晰的架构。他们的AI在设备和云中是一体的,可以在手机端,芯片级别进行加密通讯。

苹果做了一套模型,包括一个在手机上运行的小模型和一个在云中运行的大模型。这些模型可以处理手机完成不了的任务,所有这些通讯都是加密的。每个用户都有一个小模型和一个大模型在为他们服务。所有的用户数据,包括第三方应用的数据,都会被转化为向量化的数据,发送到云端的大模型进行处理。

苹果的模型是个性化的,它是一个设备和云的混合模型。苹果如果发现自己的云端处理不了的任务,他就会建议用户使用open AI。用户也可以选择使用open AI,但苹果也会判断如果他自己完成不了的事情,他也会交给open AI来做。

陈然: 事实上,我最关心的是苹果会叫这套新东西什么名字。苹果很擅长创新命名,例如在深度学习时代,他们不叫深度学习,而是叫 Apple Neural Engine。在 AR/VR 时代,他们不叫 AR/VR,而是叫 Spatial Computing。这次他们给 AI 取名为 Apple Intelligence,我觉得很有趣。

苹果一贯擅长做应用,把更好的用户体验带给大家。这次升级了 Siri,让更多用户第一次真正接触到智能助手。科技圈的人可能早就开始使用基于 GPT 的工作流管理,享受科技带来的生产力提升。但是苹果一次做到位,整合到 Siri 里,串联了很多应用。这对大多数用户来说,就像魔术一样,他们能享受到科技的乐趣。

苹果拥有强大的用户数据,如屏幕、日历、邮件、照片等,这对做机器学习的人来说,是非常宝贵的。我会关注苹果如何在其框架下,开放这些数据给其他应用,如果想要进一步发展,这些应用必须要访问到这些敏感信息。我关注的是苹果如何在其隐私框架下,控制和提供这些敏感信息。

我认为可能还有一个点我觉得很有意思,但大家没有太多讨论。不仅是苹果智能(Apple Intelligence)这次发布,很多人会吐槽说苹果的一些功能都是一些细微的改变,包括emoji变得更漂亮了,文字变大了,可以跳动等。所以就有很多人会有所担忧。但实际上,我认为这是另一个范式的思考,人工智能给我们带来的到底是知识价值还是情感价值?我认为这是一个大的范式,我们作为技术的关注者,往往关注的是能否更快地获取更多的数据。而对于一个用户而言,他可能觉得更好的永远是有更多的情感价值的出现。那人工智能在那里,它能够时刻响应你的回复,虽然有时候功能可能没有那么华丽,但实际上它绝对能给你提供超出你预期的一些情感价值。我觉得这个价值可能被低估了,我为什么看好苹果,不仅是Siri,还是它在你屏幕上的陪伴,因为我觉得它后面会不断的迭代出会让你更开心的一种感觉。这种感觉会让你更喜欢这个手机,你会觉得它懂你,你会对这个手机产生更大的依恋感。我觉得这是大模型能够潜在的给人带来一种情感价值的支持。这种价值比较难以量化,但我认为这是一个正在发生的大趋势。

Neethan: 我觉得开始时网上会有许多不同的意见,比如把Siri换成GPT等等,包括底层模型。那时我觉得苹果可能不会用其他公司的模型,可能短期内会妥协,这符合我们的预期。但可能跟外界看,它和OpenAI的结合并不深,我觉得这可能是好事。而且,它和open I的结合可能比我们想象的还要浅一些。

我觉得长远看有两个方向。第一,我们可以看到,通过Siri直接唤醒GPT。苹果相当于官方化了这样一个东西。以这个维度看,Apple intelligence像一个Super app,它具有很多AI相关的能力,如做图,写文章等,它扮演的是一个app的角色。

另一方面,我们把open AI和其他的一些三方模型作为一个call back,当苹果的有些模型或者有些事情不适合,或者用户选择不用苹果自己的东西的时候,它可以作为一个第三方的支持出现。推特上OpenAI的人很兴奋,因为对openAI来说,苹果是一个大的流量入口,但实际上,我觉得目前可能并没有达到open AI或者像奥特曼想要的那个程度,因为他们关心的是用户海量的数据。以Open AI现在的策略,他们希望能获取更多的数据,但以目前的结合来看,我觉得苹果做得很好,做到了隔离。这一点跟他的隐私和私有策略有很好的结合。

胡延平:为什么发布会当天和之后各方对Apple的评估先抑后扬?为什么Apple Intelligence秋季才会正式发?为什么苹果生态内合作伙伴心态复杂?主因是Apple Intelligence发布坐实了6件事(前三件都是生态相变级别),而另外6件事悬而待解。1.超级入口成型,已无悬念,且多因素促动,不止强智能。再次确证智能生态发展基于“端边云网感算数智”8要素,AI2.0格局、与App尤其超级App关系指定要变。2.自然交互来临,语音-手势-体感-触感-空间计算,视觉是表智能多模态+融合传感+云-端算力是里。会引导用户重新理解智能设备。3.应用原子化、数据元子化。从块状、碎片到颗粒度更小的原-元子,解构指向流量、秩序和利益的历史性重构。和之前聊过的”超越算法推荐-走向智能耦合”、媒体-自媒体-超级个体、大众-分众-微众、资讯-UGC-AIGC三个维度的转变历程异曲同工。4.端云协同的混合智能趋于最优解,是废话但却是需要被实证的“必然”,需要演进出真正高效率高水准高可用性的基本框架。5.封闭但内部深度整合的系统级生态实现强智能更高效。这也是昨天为什么说“到最后会发现最垄断的反倒成为最开放的选择,最封闭的反倒成了最高效的智能平台,App死在为Apps创造生态的生态里,人机转了一圈又回到的有人无机时代的自然交互,没理了。唯有芯片算力与基础设施不会辜负”。6.生态级头部-平台,AI底座一定是自己做,缝合GPT-4o只是权宜之计。所以发布之前我预期“如果与OpenAI合作对苹果来说是负面”并没有被打脸。

徐思彦: 关于未来,Apple的AI将通过什么方式呈现出来呢?它会是一个网页端设备,还是像现在的手机端?有人用“管道化”这个词来形容这一趋势,那么它究竟会像现在的Siri那样,还是将融入到各种应用当中呢?

Indigo: 我觉得接下来我们都不叫做应用了。我们都在给这种智能代理开发接口。没有应用公司了,接下来可能只是人家硬件公司可能做这种系统级的这种壳的公司。然后剩下的就是在壳下面,我们创建了一个智能代理,这个代理可以是Siri,也可以是你在Google上使用的代理,或者你使用的GPT。最麻烦的是它没有硬件,没有身体,它需要去任何人那里。这个买入钱需要给现在的第一次好不容易跑苹果那去的人。所以,你想看,在这个端口非常重要,谁控制的入口,谁就控制了智能流量。这是非常重要的,特别是在应用被讲话之后。你只需要和应用说话就好了。有Siri或者这些智能代理帮你来做和应用之间的复杂交互,那我们还需要做那么复杂的APP界面设计吗?不需要了,你很多东西只需要告诉它就好了,或者说这个里面就变成了你的方式。我问你怎么做,它弹出两个界面,然后再弹出两个结果。这个界面的设计会变得更复杂,交互设计会变成语音式的,然后APP也会消失。所有东西都藏在智能手机或者未来的智能眼镜里。

我们可能都不再叫应用开发者,我们会成为一些Service Provider。然后把你的应用注册到最早的地方,他在一个对话框里面做plugin肯定是不行的。现在的操作系统层面上的壳效果,我们叫做壳上做的plugin,因为是天然的,所以我觉得siri能做得很好。它可以带来很多变化,其实使用率不需要很高的智能。不需要它,一切都可以在本地做,他本地的30个31参数的语音引擎去理解多语言文字是没什么问题的。

徐思彦: 我也对Neethan的想法很感兴趣,因为你是最早的语音交互产品的开发者。从最早的Alexa到现在的Siri,你认为它们的发展方向符合你的预期吗?

Neethan: 我在推特上分享了关于Alexa、Apple智能和新Siri的看法。它们都有相似的功能,但也有很大的改变。

我要说的两点是:

虽然看起来没有变化,但实际上有很大的变化。我认为真正的赢家是苹果,因为它已经打开了更大的流量入口,也打开了更多的可能性。苹果的这个动作非常聪明,它告诉我们AI是一个feature,而不是一个产品。苹果一直都擅长在终端上给用户提供一个无感的很好用的体验。

苹果的很多产品在发布的时候都会被质疑,但用户用起来就是爽的,AI也是一样的。我期待苹果能在这方面做得很好,能给用户提供一个非常好的体验。

最后,我认为苹果是最大的赢家,因为它开放了更大的流量入口,也开放了更多的可能性。我认为这是其他公司做不到的。

徐思彦: Apple提出了一个名为Context AI的项目,特别是这个可以读屏的AI,在了解你的评估习惯、邮件等后,能给用户给出更智能的建议。这个方向的发展成立吗,会带来一些隐私问题吗?

Neethan: 我觉得,Context AI并不新鲜,过去一年很多创业公司和大厂都在提供类似的服务。例如,我之前做广告时,已经有很多个性化的推荐系统,这些系统需要个人数据,如你在屏幕的停留时间,你阅读的邮件等。我认为这条路是行得通的,但可能并非通过录屏等行为。人们对此有很高的期待,但是否真的能火起来,还需要看用户的使用习惯。

大部分人的设备并非专业的AI设备,他们最多的需求是吃穿住行,叫Uber,叫外卖,或者突然想知道某个信息。因此,个人AI不一定局限于某些交互形式。在北美,用户的隐私是一个大问题。例如,欧洲已经发出了一些关于隐私的咨询。我觉得这很科幻,但是否真的能交付给用户,用户是否真的会这样做,还有待看。

大部分用户最常问的问题还是关于衣食住行。那个是实际的personal AI的场景会通过apple intelligence去实现。我觉得会有许多应用开始尝试去接入apple,尝试去抢这个接口,什么样的东西都可能尝试。其次,实际上来讲,这也非常依赖于苹果的分发和routing,用户如何使用。我觉得会优先的是一些生活场景化,或者是说非常简单的场景,如我想快速知道我email里面的某个信息。

我觉得所有的简短场景,关于信息展示和信息切分,app会更回归于业务本质,GUI会逐渐的被淡化掉。例如,你可能会在Uber里面绑定银行卡,但是你叫Uber,查看路线图,查看ETA可能都会慢慢来到siri或者apple intelligence这个层面上。但是,其他一些更长的沉淀,如你的路线的计划等,可能还需要更长的时间,通过apple提供更好的ux,慢慢再走到上一层上。我对apple的隐私部分,还是比较有信心的。

延平: 我们正在讨论的问题可以归结为以下几点。我们明确了六个事实,但有几个疑问,这是我们正在探索的。首先,这个事情会发展得多快?我认为可能不会很快,因为入口与应用之间的关系需要时间发展。

其次,入口的形态会是什么?目前,已经进入第三阶段。第一阶段是基本的问答,第二阶段开始连接一些服务信息或简单的应用。第三阶段的入口被称为超级入口,因为它有自然交互和智能,能有效地组织应用、服务信息、知识、内容和数据,并以用户需要的方式呈现。目前,很多方面还有待改善,但在封闭或整合的系统下,它效率最高。

关于形态,还有一些不确定的地方。除了自然交互和智能能力,还有端侧的算力,包括端侧的传感和深度感知。这些因素在此汇聚,因此大家对超级入口非常关注。

智能与智能的关系是什么?一种关系是可以接入各种智能,如Google G、Open AI的GPT等。另一种关系是这些App也有自己的智能,可以与Apple的AI能力结合、连接、融合或合作。如何更好地连接并给用户更好的体验,还需要观察。

如何获取深层的用户数据,如读屏,还不清楚。但一些服务,如旅行预订、天气预报、订餐、交通等,应该会首先实现。对于深层的任务,可能需要借助Apple Intelligence的功能来处理,这些任务通常是用户在app中进行的。

此外,智能与智能的关系也是一个需要解决的问题。在下一阶段,可能会出现一些问题,如强大的头部效应可能导致一部分app从入口获取大量的流量和用户,而其他部分可能被边缘化。在这种情况下,存在利益冲突。这个冲突可能导致APP store的系统无法承载超级入口和Apple Intelligence的合作关系,也无法处理新生态中各方的利益分配。

我认为,必然会有一场利益冲突,这可能会和用户数据隐私保护,以及一些与竞争有关的问题相交汇。苹果可能需要考虑如何形成新的生态秩序,形成新的与开发者和应用之间的关系。这个过程可能比超级入口来得更慢,更晚一些,所以这几个问题仍然有待明确。

 

 

 

入口之争

竞争新局面如何展开?

 

 

徐思彦: 我们非常关注智能和智能之间的关系。这里面有两个问题,一个是Apple会如何影响未来模型底层的竞争格局?Open AI能否维持其领先地位?如果可以,能维持多久?第二个问题是,模型之间是否可能互相调用?未来是走向融合还是分裂?我很想知道大家的看法,你们认为未来的模型竞争会是什么样子?

Indigo:我认为现在的AI模型,如Claude和J以及OpenAI,已经很出色,甚至超过现有的测试基准。但有时候,我们并不需要那么高的智能。像Open AI和Google这样的公司,他们的目标是创造超级智能,但像Apple这样的公司,他们的目标是创造一个简单的小助手。

我认为有两种竞争方式。一种是竞争最高智能,这是Open AI和Google这样的公司的目标。另一种是提供用户最好的体验,这是Apple这样的公司的目标。

对于超级智能,每个公司有自己的定义。我认为,我们现在正在向这个目标迈进。我们现在可以给机器一些提示,然后让机器完成剩下的工作。随着技术的发展,可能我们只需要给一些简单的提示,机器就可以完成所有的工作。

对于像Apple这样的公司,他们的目标是提供最好的用户体验,而不是创造最高的智能。他们的目标是创造一个可以帮助用户完成日常工作的小助手,而不是一个可以替代人类的超级智能。

总的来说,我认为现在的AI竞争有两种方式。一种是创造最高的智能,另一种是提供最好的用户体验。这两种方式都有其优点和挑战。

徐思彦: 我想听听你如何看待硅谷的几个大公司未来AI的方向。我最近用了Gamma做PPT,觉得非常好用。如果Google把它整合到自己的产品中,可能会对微软的Office造成挑战。硅谷的各个大厂现在的定位是什么?

Neethan: 我和Indigo的看法一样。我认为在你解决问题后,应该回归产品本身,因为你最终是要做产品。Apple非常明确他们是做产品的,他们有用户,需要满足用户的需求。他们没有像Facebook那样的推广部门,也没有Google Deep Mind那样的部门,他们的核心是产品。其他的大公司也会有类似的做法。Meta一直在开源场景中探索模型,但如果你看看他们的应用场景,他们已经在广告平台上使用大量的AI技术,如文案生成,图片生成等。这些都是回归到业务和产品本身。Google也是一样,他们把重心放在Google Workspace上,包括Gama,Google Space,Gmail等等。Microsoft也是一样的,他们把重心放在CoPilot上。研究是研究,但业务是业务,你还是要找到自己的场景去看,我觉得这是很重要的。你可能需要适应流量入口,重新设计你的交互,但你能提供的场景,你能带来的价值,这些是不能被轻易替代的。所以,你还是要专注在你要解决什么样的问题。

徐思彦:Indigo之前在文章中提到了一个名为AI workforce的概念。陈然刚才讲的金融场景,实际上就是把AI当作一种新的劳动力来使用,它甚至有可能成为一个供应商。而对于apple来说,可能仍然是应用的升级。你怎么看待未来这两种方式会越来越分化,还是在某些时候它们会融合在一起?

Indigo我认为未来的发展可能会有所分化。各大公司如Google和Apple都在改进智能模型,但每家公司所需的模型不尽相同,因为每家公司都有自己的特定场景。我认为训练模型、数据调优和数据的独特性将更重要。而且多模态和用户产生的特殊数据,如用户使用的屏幕数据,也将更重要。

至于OpenAI的模型架构能领先多久,我不确定。我认为接下来的竞争将在结构改进和数据使用上。

在强化训练方面,我们可以用专家来训练模型,而不需要大量数据。专家可以为AI模型生成数据,这将使模型训练得更好。

在使用场景方面,我认为在agent时代,一个好的代理需要有好的记忆并能完成长时间的技术问题。目前所有的模型,包括GPT-4,都不能做到这一点。如果我们想要一个更好的代理,它需要有长时间记忆和推理能力。它可能会在云端实现,因为云端有更好的服务器架构,不会中断。

最后,我认为我们需要挑战现有的架构,实现更长的规划,才能做出更好的产品。

 

 

 

EdgeAI的时代来了吗?

 

徐思彦: 最后一个问题我还是想请大家展望一下对未来的AI智能手机或者端测AI,大家有哪些预期和这个期待?

Neethan: 实际上,我对云端非常期待,因为我在会前说过,我期待苹果在PCC(private cloud compute)上的一些改进。我和朋友讨论过一些观点,我期待的是个性化模型。模型的训练成本降低,架构的改变,可以使其更小。用户维度,甚至可以引入一些个人偏好,这样它的推理能力可以在个人维度上产生变化。但是从现在的功能角度来看,要达到很好的效果还是比较难的。但我觉得PCC已经为这种可能性开了一个口子,无论是苹果在芯片上的一些储备,还是架构上的一些储备。当然了,如果这个东西能在本地运行,这个个性化模型,我会非常期待。我觉得这会开辟更多的场景,让更多的交互成为可能。

胡延平: 我期待每个人都能有自己的强大AI,而且希望它能更快地来到我们身边。虽然我们现在还在初始阶段,例如我手机里的模型是8B,电脑里的模型是70B,但是体验速度很慢,几乎没有多模态能力。这也是我期待苹果智能的原因。虽然现在的进展非常快,但是从用户体验来看,尤其是端侧模型,还处在原始的状态,可用性不强。我期待云端的能力更强大,但是离线可用,数据隐私,和个人应用的整合等方面,我更希望端侧智能有很好的发展。

陈然: 我永远关注AI的提供的情感价值这个是我最关注的事情,因为我觉得。对一个普通人而言,他对于生产力也好。一个设备的理解也好,跟我们可能专业的人是完全不一样的。那如果说一个智能,它希望能够触及到更广大的大众一定是它提供了更高的情感价值,而这个反而也是AI更擅长的。所以我觉得apple的这一套on device的这个model哈。我觉得真正值得创新的点,或者说能创新能够做AI native的东西,我觉得一定是提供了足够情感价值的一些东西,而不仅仅是说在业务逻辑上或者一些资源整合上有些创新的。所以我觉得大家如果真的想做AI native的创新,在这个时代上应该去从情感价值作为突破。去思考怎么样让AI更好的陪伴人类提供更多的情绪引导思考,就是让大家能够过得更开心哈。

徐思彦: 谈谈你对未来智能HAI创新的一些预测吧。 

Indigo:我希望让大家用手机的时间少一些。让手机成为身上的计算中心,其他的可穿戴设备只是辅助设备,比如智能设备。AI提供了一个好思路。例如,语音交互和视频的设备都已经实现,只是电池问题还没解决。Google和苹果都在准备这样的产品。如果有手表,耳机,眼镜等配件,我们就能少用手机。

苹果在2019年就启动了一个可行走的iPad项目,叫做Human Joy。这是一个机器人项目,用于家庭和办公室。许多公司都在做这样的陪伴机器人。苹果的车队裁掉了一部分人,转去做AI。

未来苹果的三大新的增长方向,一个是手机,一个是可穿戴设备,还有一个是可行走的机器人。机器人可以作为你的助理,不在你口袋里面,可能在你身边或者你随叫随到。未来的Mac可能会朝这个方向演化。

下一代的竞争将在端上,不在云端。端上的智能设备会很多,除了手机和可穿戴设备之外,还有家用机器人等。在不同级别的端上面,他们的智能程度也会不同。所有解决不了的问题都会去云端解决。未来会形成一个大的网络,端的数量会大于云端,云端会解决超级智能问题,云端会联网,形成一个超级大的网络Neural Network。不同公司的模型之间也可以协助调用,形成一个大的网络。我在我的文章中都写了这些。

徐思彦: 再次感谢各位嘉宾的精彩分享和总结。随着Apple Intelligence的发布,大模型的竞争已经进入到第二个阶段,端侧AI的大变革才刚刚展开。我们预测,未来可能会有更多不同的产品融入更高级别的智能,比如iPad,眼镜,汽车,家用机器人等。未来的变革速度将会越来越快,我们的手机也可能会变得更有个性和更有情感。我相信大家都非常期待看到这些变化。

我们也会持续关注未来的变化,并欢迎大家关注我们的AGI路线图。在每个重要的里程碑发布时,我们会第一时间与大家分享这些变化背后的技术趋势,以及它们对我们每个人的影响。