辉哥说:这阵子我跑进博会,被人拉去看高通的端侧AI演示,一个手机上的小助手居然能自己规划、点App、办成一件事——不是你说一句它答一句的那种”人工智障”了。我心里咯噔一下:这帮做芯片的,这几年在端侧偷偷憋的大招,原来是要把AI从”单个工具”变成”贴身管家”。今天我就用大白话,带你把这条从单点到智能体的路,走一遍。
老规矩,先给小白们交个底:终端侧AI,说人话就是”把AI塞进你的手机、电脑、车机、眼镜里,让它别联网也能干活”。过去三年这概念吵得热火朝天,但很多人脑子里还停在那个”语音助手”阶段——你问一句,它答一句,问完就尴尬。高通这次的思路很明确:别再做单点工具了,要做能自己想办法的”智能体”。下面我分几块,慢慢给你捋清楚。
一、终端侧AI,走到哪一步了?
这里有个反常识的点,值得记下来:终端侧AI根本不是从大模型起步的。你想想,手机拍照越来越好,背后就是AI在干活——美颜、夜景、人像虚化,这些是端侧AI最早落地的场景,早在大模型火之前就开始了。
这几年它慢慢长本事了:从拍照扩展到问答、聊天、生成图片、处理文字、语音转写、实时翻译,搞成了一堆多模态的活儿。说白了,就是能”看、说、写、翻译”一起上了。这些功能,很多在端侧跑,条件已经比较成熟了。
但是——重点来了——现在绝大多数端侧应用,还是单点功能。自动语音识别(ASR)、文本摘要、图片处理、简单聊天机器人,每一个都只是解决一个具体任务。你在手机里用文字摘要,它确实能摘要;但你让它”帮我把这周的事理一理,然后订个开会时间”,它可能就歇菜了。
如果将来手机能自己理解你的意图、把一连串任务排好、甚至实时去帮你操作别的App——这就属于系统级、规划类的活了。要做到这些,光靠现在那些单点模型不够,需要端侧模型有更强的”脑子”。这就是高通这次想讲的核心:端侧AI正从”干具体活”,往”智能体”进化。
二、为什么非得搞端侧?它和云端啥关系?
这里高通的态度很实在,不吹”端侧取代云端”,而是讲端云协同,还造了个词叫计算连续体,核心思路是“端侧优先”。我掰开揉碎给你讲为什么。
过去我们依赖云端AI,每次推理都要烧云端的Token、GPU、调度资源,还依赖网络。网一卡,体验直接崩。你要是把合适的AI能力挪到端侧,好处是一串的:不依赖网络、反应更快更稳、而且在安全、隐私、个性化上有天然优势——你的数据不出你的手机,谁也不知道。
高通给了个特别形象的比喻,我觉得比很多PPT都讲得清楚:
云端更像一个”通用知识库”,啥都知道一点;端侧则更像你专属的”专业化知识”——它知道你是谁、在哪、干过啥、现在什么处境,然后猜你接下来想要啥。这就是“主动式AI服务”的地基。
三、为什么MoE成了端侧的香饽饽?
这部分是全文的技术核心,我尽量讲成人话。MoE全称Mixture of Experts,中文叫”混合专家模型”。想懂它,先拿它和传统的Dense(稠密)模型对一对。
拿一个30亿参数的Dense模型打比方:你让它干一次活,这30亿参数一个不落,全得跑一遍,才能出结果。听着就累。
MoE不一样。它把参数拆成好几个“专家”模块,每个专家只管一小块,还各有所长。当某个任务来时,只唤醒跟这个任务相关的几个专家就行。打个比方:一个20个专家的模型,干某件事可能只调用2到3个,剩下的该歇歇。
- Dense模型:家里只有一个厨师,你想吃啥他都做。样样会一点,但未必样样精通。
- MoE模型:请来一桌厨师,有的擅长鲁菜、有的擅长京菜、有的擅长淮扬菜。你想吃淮扬菜,只唤醒淮扬菜那位,其他人喝茶。
——模型虽然”养”了很多专家,但真干活时只让一部分算,省掉的算力就是它在端侧能跑起来的命根子。
那MoE为啥对端侧尤其重要?因为手机、PC这玩意儿,内存和功耗都被卡死了。现在主流做法,端侧一般只能跑20亿到30亿参数的模型。这个体量,干ASR、摘要、修图、简单聊天,没问题;但要对标系统级、规划类的复杂任务,智能还是差口气。
我现在用20亿、30亿、40亿参数的模型去跑复杂任务,不是跑不了,但完成度和准确度可能也就60%、70%、80%的水平。MoE的价值就在这儿:在端侧那点可怜的内存和功耗里,给”跑更聪明的模型”开了条新路子。
四、高通进博会的MoE演示,到底秀了什么?
MoE模型专家多,总体体量大,想在端侧真正跑起来,除了模型本身聪明,还有两个特别现实的问题要啃:怎么提前猜出下一步要唤醒哪些专家?猜完怎么从存储里快速把它们调出来、及时算上?
这里有个专业瓶颈:DDR带宽。大模型推理时,数据在存储和内存之间倒腾,经常卡在这。要是能提前知道下一步要哪些专家,把它们预取到合适位置,就能少等、多算、跑得顺。
高通这届进博会的演示,就是冲这两个问题来的,而且不是一个人单打独斗,是高通 + Infris AI + 江波龙 + 阶跃星辰一起搞的。我给大家列个分工,你就懂”生态”俩字值多少钱了:
- 阶跃星辰:负责把模型的”智能”本身做上来。
- Infris AI:靠推理方案,提前预测+预取需要的专家模块。
- 江波龙:优化专家模块从闪存(UFS)到内存的加载速度,让它更快被唤醒。
- 高通:在芯片平台和软件栈上,把路由、预测、缓存预测这些环节一起调优。
五、为什么端侧AI越来越离不开”拉帮结派”?
AI和大模型越往前走,高通跟上下游合作的重点也变了:不是简单地把模型”搬”进终端,而是要让它在端侧跑得更好,再塞进手机、PC、眼镜、车里。
生态里各有各的角色,我给小白捋个明白:
模型厂商提供”智能”;高通跟它们合作做模型量化,结合芯片和软件栈优化,让模型更小、跑更快——这波合作从”模型+芯片”升级成了“模型for芯片”和”芯片for模型”的双向奔赴。终端厂商握着用户”入口”,有设备、有系统、有数据,得把芯片能力和模型智能焊成用户真正感知到的体验。开发者负责把AI能力塞进各种App和场景,用丰富的应用生态解决AI的“长尾效应”——也就是那些零零碎碎、但数量庞大的真实需求。
高通自己,扮的是能力底座的角色:持续强化NPU这类AI算力,靠骁龙平台、全栈AI软件和开发工具,把上面所有人都串起来。
说到底,高通这一套组合拳,讲的是一个从”工具”到”伙伴”的升级。端侧AI不再是那个你问它答的小助手,而是越来越像能替你出主意、帮你跑腿、还懂你的贴身角色。这条路才刚起步,但方向,已经看得很清楚了。
关于作者
辉哥,25年IT老兵,从写代码到做产品、看行业,啥坑都踩过。不整虚的,只讲人话。常年泡在AI一线,把最新动向掰开揉碎给你听——让小白听得懂,让行家有收获。观点仅供参考,干活还得靠你自己。