首页> 快讯>  正文
AI大模型 在手机芯片端深度适配
来源:电子信息产业网     作者:宋 婧 2024-04-07 09:29:51
微信分享二维码

扫码分享到微信

关闭

3月28日,记者从阿里云获悉,智能手机芯片厂商联发科(MediaTek)已成功在天玑9300等旗舰芯片上部署通义千问大模型,首次实现AI大模型在手机芯片端深度适配,大模型在手机芯片上的探索从验证走向商业化落地。据悉,相关成果将以SDK(软件开发工具包)的形式提供给手机厂商和开发者。此外,双方团队已完成通义千问40亿参数大模型与天玑9300的适配,未来还将基于天玑适配70亿等更多尺寸大模型,“打样”并支持开发更多AI智能体及应用。

端侧AI是大模型落地的极具潜力的场景之一。利用终端算力进行AI推理,可大幅降低推理成本、保证数据安全并提升AI响应速度,让大模型更好地为用户提供个性化体验。然而,要将大模型部署并运行在终端,需完成从底层芯片到上层操作系统及应用开发的软硬一体深度适配,存在技术未打通、算子不支持、开发待完善等诸多挑战。

阿里巴巴通义实验室业务负责人徐栋介绍称,阿里云与MediaTek在模型瘦身、工具链优化、推理优化、内存优化、算子优化等多个维度展开合作,实现了基于AI处理器的高效异构加速,真正把大模型“装进”并运行在手机芯片中,这标志着大模型在芯片上的探索从验证走向商业化落地。

此外,记者还了解到,阿里云与MediaTek宣布启动联合探索AI智能体解决方案计划,整合MediaTek天玑移动平台的AI算力及阿里云通义千问的大模型能力,为开发者和企业提供更完善的软硬联合开发平台,以更好支持智能终端在端侧高能效地实现自然语言理解、复杂决策制定以及个性化服务生成,探索打造真正具备情境感知、自主学习和实时交互功能的下一代智能终端应用生态。 

电信运营商披露2023年业绩 云计算业务表现亮眼

近日,中国移动、中国电信和中国联通三家电信运营商的2023年业绩相继出炉。年报显示,三大运营商的营收、…

2024-04-07 09:26

AI正在改变这些家电

一台电视机能感知实时天气,电视节目里的风铃还可以随现实世界的风摇动;一台冰箱的个性化食谱能为上海用…

2024-04-08 09:18
你可能也喜欢这些文章