Top
首页 > 正文

《中国AIGC产业算力发展报告》(附下载),寻找大模型时代的算力选择最优解

伴随着国产大模型的相继开放,将推动国产大模型生态的不断完善。AIGC时代才刚刚开始,技术和垂直应用方向尚有大量机会。UCloud将持续发挥中立、安全云计算平台的赋能价值,为助力AIGC产业发展打造稳定可靠的大模型智算底座,加速人工智能应用落地。
发布时间:2023-09-04 18:51        来源:赛迪网        作者:

大模型的发展正推动AI算力市场进入新的发展阶段,强大的AIGC算力基础设施正在构建当中。近日,甲子光年智库推出《中国AIGC产业算力发展报告》,在瞬息万状的AIGC产业发展过程中,对AIGC产业引发的算力资源需求变化进行观察与思考。

UCloud是中立、安全的云厂商,通过多年的公有云技术沉淀和系统工程能力,在大模型爆发之初就快速升级基础设施,并与多家大模型头部公司紧密配合,联合打磨产品和方案,推出了涵盖大模型“训练集群+推理集群+存储+管理”的完备云服务解决方案。基于“算力+模型+平台”的服务模式,为AIGC领域构筑强大的智算底座,全面拥抱大模型的发展浪潮。

作为AIGC产业算力领域的领航者,UCloud智算中心、云服务、大模型一体机入选AIGC产业算力服务商图谱。

完整版报告获取,请关注公众号「UCloud云计算」,后台回复“AIGC”。

IMG_256

报告核心思路和观点

大模型训练是复杂系统工程,AIGC产业的算力对应的也是系统化的建设,需要从工程化的角度思考算力的全局“利用率”。

算力不仅局限于单一产品/服务,AIGC算力的核心提供企业包括云服务、大模型一体机、智算中心、服务器及计算芯片服务商等。

AIGC正处于早期快速发展阶段,训练端是目前算力的讨论热点,但不应忽视AIGC的商业突破要依赖推理侧的发展及算力支持。

AIGC不是单纯地拉动算力规模,而是会改变算力产业的发展思路,例如MaaS对云服务模式的影响,云边协同的效力体现,及存算一体技术的发展等等。

AIGC产业的算力是工程化的结果

IMG_257IMG_258

未来大模型的产业化发展是一套复杂的系统工程,构建高效稳定的算力平台是核心要义,成熟的算法、数据产业链,配套工具链及丰富的生态链均成为关键因素。

UCloud认为,当前大模型发展面临着诸多痛点:

大规模分布式算力集群是大模型训练的基本要求,当前国内对大算力集群的需要呈现井喷式涌现,大规模集群算力存在较大缺口;

训练集群GPU服务器之间需要高速网络互联,RoCE网络方案具有成本优势,但依赖工程经验,需要针对大模型场景进行专门的适配和优化;

在大模型的训练过程,对存储系统也有着较强依赖,有着高读写吞吐的要求;

大模型集群建设成本高,优化资源利用率是降低成本的核心手段,需要高效的资源调度能力和故障处理能力。

……

寻找AIGC产业落地的智能算力实践

报告指出,算力资源的维度不仅包括算力规模大小,还要考虑算力部署及运营过程中可以利用的程度。算力是工程化结果,是从芯片到资源服务的多层次构造,需要算力服务方在自身专业能力及经验案例上的实际Know-How作为基础。不同需求程度的用户不能唯算力的参数而论,而是要结合自身对于算力部署的能力进行进一步探究。

UCloud表示,在前期大多数算力需求为训练任务,推理只占少数。随着大模型市场的竞争格局逐渐稳固,头部模型公司凸显,训练算力会集中在这些公司,而其余业务则会直接使用这些公司的大模型进行推理,推理算力的比例逐渐攀升。同样,伴随着Llama 2的权重开源、代码开源在中长期也会掀起垂直模型生成的微调算力需求。

IMG_259IMG_260IMG_261

UCloud大模型算力集群解决方案

IMG_262IMG_263

UCloud优刻得具备从数据中心、计算平台,到管理平台、网络服务、应用服务、生态接口等一站式产品和解决方案。凭借“东数西算”两大低成本、高附加值的自建数据中心,充分利用西部乌兰察布数据中心在能源配套和电力成本、算力资源方面的优势,基于公有云的产品栈和系统工程实践,UCloud在底层通过GPU云主机、裸金属等构建算力单元,以US3、UFS构建存储池,联动RoCE、IB的高性能网络,并在业务层使用UK8S进行任务调度,从而为大模型企业构建完备的训推一体平台。而东部的上海青浦数据中心则主要用于覆盖长三角区域,更加适用于对延时敏感的推理任务。

同时,为加速垂直大模型的行业落地,UCloud基于开箱即用的私有化大模型一体机,与合作伙伴探索提供一站式MaaS服务。目前UCloud镜像市场支持Alpaca-LoRA7B、T5、MiniGPT-4、ChatGLM2、Ziya、Llama 2以及Milvus向量数据库等开源大模型,覆盖知识推理、问答、图文生成、中文语义及绘画设计等AI应用领域,可为用户快速搭建大模型的微调或推理环境。

当前,UCloud也在通过内部孵化AIGC项目实践,推出“识问”智能助手平台,UCoder代码助手平台,AI绘画助手平台、大模型安全管理平台,并且优化模型微调、模型推理等流程,持续提升系统工程能力和服务经验积累,帮助大模型企业实现高效能的资源利用。

AIGC时代才刚刚开始

IMG_264

8月31日,国内首批8家通过《生成式人工智能服务管理暂行办法》备案的AI大模型产品陆续上线,面向全社会提供服务。开放的大模型产品包括百度「文心一言」、百川智能「百川大模型」、智谱AI「智谱清言」、中科院「紫东太初」、抖音「云雀」、 商汤「商量SenseChat」、MiniMax「ABAB大模型」和上海人工智能实验室的「书生通用大模型」,其中不乏UCloud正在合作的大模型客户,半数企业使用了UCloud提供的GPU算力服务。

伴随着国产大模型的相继开放,将推动国产大模型生态的不断完善。AIGC时代才刚刚开始,技术和垂直应用方向尚有大量机会。UCloud将持续发挥中立、安全云计算平台的赋能价值,为助力AIGC产业发展打造稳定可靠的大模型智算底座,加速人工智能应用落地。

每日必读

专题访谈

合作站点