一、面向人工智能领域，MLPerf基准的衍变不断见证芯片产业发展
随着人工智能（AI）领域的发展，相关芯片对于AI相关应用的计算能力成为一个重要的芯片性能指标。作为AI芯片领域重要的基准测试，MLPerf(Machine Learning Performance)是业内首套衡量机器学习软硬件性能的通用基准，主要用来测量训练和推理不同神经网络所需要的时间。MLPerf是由图灵奖得主David Patterson联合科技公司和全球顶级高校于2018年发起，目前其已成为业界评测AI性能的最主流标准之一。MLPerf组织一直在稳步建立其机器学习的Benchmarks（基准数据集），该测试集主要包括图像分类、物体识别、翻译、推荐、语音识别、情感分析以及强化学习等。该组织目前囊括了该行业中的所有知名企业，如英特尔(Intel)、NVIDIA、Google和百度等。
根据最新发布的MLPerf基准测试结果，NVIDIA及其合作伙伴占了所有参赛生态伙伴的90%，并且继续提供了最佳的整体AI训练性能和提交了最多的测试项。NVIDIA AI仍是唯一能够运行MLPerf行业基准测试中所有测试的平台，A100 GPU自发布以来连续两年一直保持着获胜次数最多的纪录。
除NVIDIA之外，无其它加速器运行过所有基准测试，这些基准测试代表了流行的AI用例，包括语音识别、自然语言处理、推荐系统、目标检测、图像分类等，而NVIDIA自2018年12月向作为行业标准AI基准测试的MLPerf提交首轮测试结果以来就一直如此。随着技术的不断进步，基准测试项目也在不断地优化，图1展示了各版本基准测试发布的时间节点。2020年7月，NVIDIA公司推出MLPerf v0.7版本，此基准扩展了推荐系统、语音识别和医学成像系统，升级了自然语言处理(NLP)的工作负载，进一步挑战了测试系统。而后推出的MLPerf v1.0版本囊括了视觉、语言和推荐系统以及强化学习的任务。它的不断发展，反映了最先进的人工智能应用。5个月后，NVIDIA公司又推出了MLPerf v1.1版本，此次系统的优化是对整个堆栈的优化，特别是在系统软件、库和算法方面的优化，导致MLPerf v1.1版本中基于NVIDIA平台的性能不断提高。
图1 MLPerf 各版本的发布时间
2022年的MLPerf性能评测中，连续第四次MLPerf训练提交结果显示，基于NVIDIA Ampere架构的NVIDIA A100 Tensor Core GPU依然表现出色。
图2 各个提交者平台在每个网络的“最快训练时间”
二、MLPerf v2.0版本发布，芯片性能进一步提升
在最新的MLPerf训练2.0版本中，NVIDIA的芯片相较于之前所有基准测试版本在各项参数指标上均有大幅提升，如图3所示。MLPerf v2.0版本测试中依然沿用之前的NVIDIA SuperPOD A100芯片，并建立了一个多功能的人工智能NVIDIA Jetson AGX ORIN SOC平台，用于边缘设备和机器人建造。除了硬件、软件的优化工作外，MLPerf v2.0还为大家展示了如何获得并处理当今日益庞大和复杂的人工智能模型所需的性能。
图3 不同MLPerf版本的训练性能对比图
共有16家合作伙伴使用NVIDIA AI平台提交了本轮结果，包括华硕、百度、中国科学院自动化研究所、戴尔科技、富士通、技嘉、新华三、慧与、浪潮、联想、宁畅和超微。
在MLPerf v2.0中，Jetson AGX Orin的性能是上一代的5倍；在测试的全部使用范围内，它平均提高了约3.4倍的性能。此外，Jetson AGX Orin的能效提高了2.3倍，如图4所示。Jetson Orin AGX可为多个并发人工智能推理管道提供多达275个人工智能计算顶层，并为多个传感器提供高速接口支持。NVIDIA Jetson AGX ORIN开发者工具促进创建先进机器人和边缘AI应用程序，这将广泛用于制造、物流、零售、服务、农业、智能城市、医疗保健和生命科学等领域。
图4 NVIDIA Jetson Orin AGX性能改进
在数据中心领域，NVIDIA继续在所有应用领域提供全面的人工智能推理性能领先。NVIDIA A100在离线和服务器场景下的所有测试中都提供了最佳的每加速器性能，如图5所示。
图5 NVIDIA A100每台加速器性能
多种模型驱动实际AI应用，AI应用可能需要理解用户说出的要求，对图像进行分类、提出建议并以语音信息的形式作出回应。这些任务需要多种类型的AI模型按顺序工作，用户需要能够快速且灵活地设计、训练、部署和优化这些模型。这也是为什么通用性（能够在MLPerf及其他版本中运行每个模型），以及领先的性能都是将现实世界的AI引入入生产的关键。
图6 即使是上图简单的用例也需要将近 10个模型，这突出了运行每个基准的重要性
三、AI芯片将向着更接近人脑的方向快速迈进
AI的训练、推理和自学习基于大量数据处理，对算力有极高需求。在市场方面，2021年中国的人工智能芯片市场规模约为436.8亿元，预计到2025年市场规模可突破1740亿元。
据统计，人工智能训练任务中使用的算力呈指数级增长，每3.5个月翻一倍，而趋近物理极限的摩尔定律正在放缓脚步，无法满足每18个月晶体管数量提升一倍的原定目标。巨量的数据和多样的数据类型，导致串行计算的CPU难以满足多元计算场景的要求，计算芯片种类走向多元，GPU、FPGA、ASIC被引入人工智能场景。随着进一步扩大人工智能所能解决的问题范围，并增加计算模型的复杂性，人工智能计算平台也面临着双重挑战：一是这些模型必须在合理的时间内进行训练；二是他们必须能够实时进行推理工作。因此构建多功能的人工智能平台，并为各种各样的模型提供所需的性能，用于训练和推理也是未来智能芯片发展的主要方向。
展望未来，AI芯片将近一步提高智能化，向着更接近人脑的高度智能方向不断发展，并向着边缘逐步移动以获得更低的能耗。