Arm 计算平台加持，全新 Llama 3.2 LLM实现AI 推理的全面加速和扩展

Arm 2024-09-26 Arm,人工智能

新闻重点：
在 Arm CPU 上运行 Meta 最新 Llama 3.2 版本，其云端到边缘侧的性能均得到显著提升，这为未来 AI 工作负载提供了强大支持
Meta 与 Arm 的合作加快了用例的创新速度，例如个性化的端侧推荐以及日常任务自动化等
Arm 十年来始终积极投资AI领域，并广泛开展开源合作，为 1B 至 90B 的 LLM 实现在 Arm 计算平台上无缝运行

人工智能 (AI) 的迅猛发展意味着大语言模型 (LLM) 的新版本不断推陈出新。要充分发挥 AI 的潜力并抓住其带来的机遇，需要实现 LLM 从云端到边缘侧的广泛部署，而这也伴随着对计算和能源需求的大幅增长。整个生态系统正携手寻找应对这一挑战的解决方案，不断推出新的更加高效的开源 LLM，以便大规模实现各种 AI 推理工作负载，加快为用户带来全新、快速的 AI 体验。

为此，Arm与Meta 展开紧密合作，在 Arm CPU 上启用新的Llama 3.2 LLM，集成开源创新与 Arm 计算平台的优势，显著推进了解决AI挑战的进程。得益于Arm 的持续投资及与新型LLM 的合作， Arm CPU运行 AI 的优势在生态系统中脱颖而出，使Arm成为 AI 推理开发者的首选平台。

加速云到边缘侧的 AI 性能

小型 LLM（如 Llama 3.2 1B 和 3B）能够支持基于文本的基础生成式 AI 工作负载，对于大规模 AI 推理的实现至关重要。通过 Arm CPU 优化内核在 Arm 技术驱动的移动设备上运行新的 Llama 3.2 3B LLM，可让提示词处理速度提高五倍，词元 (token) 生成速度提高三倍，在生成阶段实现每秒 19.92 个词元。这将直接减少了在设备上处理 AI 工作负载的延迟，大大提升了用户整体体验。此外，当边缘侧能处理的 AI 工作负载越多，往返云端传输数据所节省的电量就越多，进而节省了能源和成本。

除了在边缘侧运行小型模型，Arm CPU同样支持在云端运行更大的模型（如 Llama 3.2 11B 和 90B）。11B 和 90B 的模型非常适合云端基于 CPU 的推理工作负载，可生成文本和图像，其中，在 Arm Neoverse V2 上的测试结果展现出了更大的性能提升。在基于 Arm 架构的 AWS Graviton4 上运行 11B 的图像和文本模型，可以在生成阶段实现每秒 29.3 个词元的表现，远远超出了人类大约每秒阅读五个词元的速度。

AI 将通过开源创新和生态系统协作迅速扩展

能公开获取新的 LLMs（如Llama 3.2）至关重要。开源创新正以迅猛速度发展，在之前的版本中，开源社区在不到 24 小时的时间内便能在 Arm 上部署并运行新的 LLM。

Arm将通过 Arm Kleidi 进一步支持软件社区，让整个 AI 技术栈能够充分发挥这一优化的 CPU 性能。Kleidi 可在任何 AI 框架上解锁 Arm Cortex 和 Neoverse CPU 的 AI 功能和性能，无需应用程序开发者进行额外的集成工作。

通过最近的 Kleidi 与 PyTorch 集成以及正在推进的与 ExecuTorch 集成，Arm正在为基于 Arm CPU的开发者提供从云端到边缘侧的无缝 AI 性能。得益于Kleidi 与 PyTorch 的集成，在基于 Arm 架构的 AWS Graviton 处理器上运行 Llama 3 LLM 的词元首次响应时间加快了 2.5 倍。

同时，在端侧，与参考实现相比，在 KleidiAI 库的加持下，使用 llama.cpp库在新的 Arm Cortex-X925 CPU 上运行 Llama 3 的词元首次响应时间加快了 190%。

构建 AI 的未来

Arm 与 Meta 的合作成为了行业合作的新标杆，汇聚了 Arm 计算平台的灵活性、普及性和 AI 功能，以及 Meta 等行业巨头的技术专长，共同解锁AI 广泛应用的新机遇。无论是利用端侧 LLM 满足用户的个性化需求，如根据用户所处的位置、日程和偏好来执行任务，还是通过企业级应用来优化工作效率，让用户能够更专注于战略性任务，Arm 技术的集成都为未来奠定了基础。未来，设备不再只是命令和控制工具，更是能在提升用户整体体验方面扮演积极的作用。

在 Arm CPU 上运行 Meta 最新 Llama 3.2 版本，其AI 性能实现了显著提升。这类开放式合作是实现无处不在的 AI 创新、促进 AI 可持续发展的最佳途径。通过新的 LLM、开源社区和 Arm 的计算平台，Arm 正在构建 AI 的未来，到 2025 年，将有 1000 多亿台基于 Arm 架构的设备支持 AI。

关于 Arm

Arm 作为业界性能最强、能效最高的计算平台，以无可比拟的规模，覆盖全球 100% 的联网人群。Arm 提供先进的解决方案以满足对计算永无止尽的需求，进而赋能全球领先的科技公司释放前所未有的人工智能体验和性能。Arm 携手全球最广泛的计算生态系统和 2,000 万软件开发者，共同在 Arm 平台上构建人工智能的未来。