首页> 新闻>  正文
AI大模型 在手机芯片端深度适配
来源:电子信息产业网     作者:宋 婧 2024-04-07 09:28:42
微信分享二维码

扫码分享到微信

关闭

3月28日,记者从阿里云获悉,智能手机芯片厂商联发科(MediaTek)已成功在天玑9300等旗舰芯片上部署通义千问大模型,首次实现AI大模型在手机芯片端深度适配,大模型在手机芯片上的探索从验证走向商业化落地。据悉,相关成果将以SDK(软件开发工具包)的形式提供给手机厂商和开发者。此外,双方团队已完成通义千问40亿参数大模型与天玑9300的适配,未来还将基于天玑适配70亿等更多尺寸大模型,“打样”并支持开发更多AI智能体及应用。

端侧AI是大模型落地的极具潜力的场景之一。利用终端算力进行AI推理,可大幅降低推理成本、保证数据安全并提升AI响应速度,让大模型更好地为用户提供个性化体验。然而,要将大模型部署并运行在终端,需完成从底层芯片到上层操作系统及应用开发的软硬一体深度适配,存在技术未打通、算子不支持、开发待完善等诸多挑战。

阿里巴巴通义实验室业务负责人徐栋介绍称,阿里云与MediaTek在模型瘦身、工具链优化、推理优化、内存优化、算子优化等多个维度展开合作,实现了基于AI处理器的高效异构加速,真正把大模型“装进”并运行在手机芯片中,这标志着大模型在芯片上的探索从验证走向商业化落地。

此外,记者还了解到,阿里云与MediaTek宣布启动联合探索AI智能体解决方案计划,整合MediaTek天玑移动平台的AI算力及阿里云通义千问的大模型能力,为开发者和企业提供更完善的软硬联合开发平台,以更好支持智能终端在端侧高能效地实现自然语言理解、复杂决策制定以及个性化服务生成,探索打造真正具备情境感知、自主学习和实时交互功能的下一代智能终端应用生态。 

中国移动全球 首发5G-A商用部署

3月28日,中国移动5G-A商用发布会在浙江杭州举行。会上,中国移动全球首发5G-A商用部署,公布首批100个5G…

2024-04-07 09:22

2024赛迪论坛|品质品牌分论坛在北京举办

4月2日,由中国电子信息产业发展研究院(赛迪研究院)、工业和信息化部新型工业化研究中心主办的2024赛迪…

2024-04-07 11:02
你可能也喜欢这些文章