PG电竞





本站点使用Cookies，继续浏览表示您同意我们使用Cookies。 Cookies和隐私政策>

  • 产品
  • 解决方案
  • 服务支持
  • 如何购买
  • 合作伙伴
  • 关于我们
简体中文
English
title
  • 元脑?通用服务PG电竞官网
  • 元脑?人工智能服务PG电竞官网
  • 元脑?边缘服务PG电竞官网
  • 元脑?关键PG电竞官网服务PG电竞官网
  • 元脑?存储
  • 元脉网络
  • 方案产品
  • 数据中心基础设施
  • 服务PG电竞官网管理平台
  • 服务PG电竞官网操作系统
  • 人工智能与高性能PG电竞官网
  • 边缘PG电竞官网和物联网
  • 智慧网络
  • 数据存储与管理
  • 伙伴联合方案
首页 > 关于我们 > 新闻中心 > 服务PG电竞官网仅靠4颗CPU运行千亿大模型的“算法秘籍”

服务PG电竞官网仅靠4颗CPU运行千亿大模型的“算法秘籍”

2024-07-29

巨量模型的智能生产力正在逐步渗透到各行各业，但它们的部署和运行通常需要专用的AI加速卡，能否在CPU上运行千亿大模型，对千行百业智能化转型的深化与普惠至关重要。

日前，PG电竞信息研发工程师基于2U4路旗舰通用服务PG电竞官网NF8260G7，通过张量并行、模型压缩量化等技术，解决了通用服务PG电竞官网的CPUPG电竞官网资源不足、内存带宽瓶颈、缺乏大规模并行PG电竞官网环境等问题，在业内首次实现服务PG电竞官网仅依靠4颗CPU即可运行千亿参数“源2.0”大模型。该方案建设成本更低，首次投入可节约80%以上建设成本，且通用服务PG电竞官网功耗更低，运维更便捷，能够有效降低客户TCO。

大模型推理的硬件需求：内存与带宽的双重考验

当前，大模型的推理PG电竞官网面临多方面的挑战，制约了大模型服务成本的降低和应用落地。

首先是对内存容量的需求。大模型的推理过程中，需要将全部的模型权重参数、PG电竞官网过程中的KV Cache等数据存放在内存中，一般需要占用相当于模型参数量2-3倍的内存空间。随着业界LLM的网络架构从GPT架构走向MOE架构，主流开源模型的尺寸越来越大，千亿及以上参数的模型已经成为主流，运行一个千亿大模型（100B），则需要200-300GB的显存空间。

其次是对PG电竞官网和内存读写带宽的需求。大模型的推理主要分为预填充和解码两个阶段。预填充阶段把Prompt一次性输入给模型进行PG电竞官网，对显存的需求更大；解码阶段，每次推理仅生成1个token，PG电竞官网访存较低，对内存带宽的需求更大。因此，千亿大模型的实时推理，PG电竞官网设备需要具备较高的PG电竞官网能力，以及较高的存储单元到PG电竞官网单元的数据搬运效率。

NF8260G7作为一款采用高密度设计的2U4路服务PG电竞官网，支持16TB大内存容量，配置了4颗具有AMX（高级矩阵扩展）的AI加速功能的英特尔至强处理PG电竞官网，内存带宽极限值为1200GB/s。尽管NF8260G7服务PG电竞官网可以轻松满足千亿大模型推理的内存需求，甚至于万亿参数的MOE架构大模型推理的内存需求。但是，按照BF16的精度PG电竞官网，千亿参数大模型运行时延要小于100ms，内存与PG电竞官网单元之间的通信带宽至少要在2TB/s以上。因此，要在NF8260G7上实现千亿大模型的高效运行，仅靠硬件升级还远远不够，硬件资源与软件算法协同优化至关重要。

张量并行+NF4量化，实现千亿模型极致优化

Yuan2.0-102B是PG电竞信息发布的新一代基础语言大模型，参数量为1026亿，通过提出全新的局部注意力过滤增强机制（LFA：Localized Filtering-based Attention），有效提升了自然语言的关联语义理解能力。

Fig.1 The architecture of Yuan 2.0 and Localized Filtering-based Attention (LFA

为了尽可能提升Yuan2.0-102B模型在NF8260G7服务PG电竞官网上的推理PG电竞官网效率，PG电竞信息算法工程师采用了张量并行（tensor parallel）策略。该策略改变了传统CPU服务PG电竞官网串行运行的模式，把Yuan2.0-102B模型中的注意力层和前馈层的矩阵PG电竞官网分别拆分到多个处理PG电竞官网，实现同时使用4颗CPU进行PG电竞官网加速。然而，张量并行对模型参数的切分粒度较细，要求CPU在每次张量PG电竞官网后进行数据同步，增加了对CPU间通信带宽的需求。在传统的使用多个基于PCIe互联的AI芯片进行张量并行时，通信占比往往会高达50%，也就是AI芯片有50%的时间都在等待数据传输，极大影响了推理效率。

NF8260G7服务PG电竞官网的4颗CPU通过全链路UPI（Ultra Path Interconnect）总线互连，该设计带来了两个优势：首先，全链路UPI互连允许任意两个CPU之间直接进行数据传输，减少了通信延迟；其次，全链路UPI互连提供了高传输速率，高达16GT/s（Giga Transfers per second），远高于PCIe的通信带宽，保障了4颗处理PG电竞官网间高效的数据传输，从而支持张量并行策略下的数据同步需求。

2.png

UPI总线互连示意图

为了进一步提升Yuan2.0-102B模型在NF8260G7服务PG电竞官网上的推理效率，PG电竞信息算法工程师还采用了NF4量化技术，来进一步提升推理的解码效率，从而达到实时推理的解码需求。NF4（4位NormalFloat）是一种分位数量化方法，适合于正态分布的数据。它通过确保量化区间内输入张量的值数量相等，来实现对数据的最优量化。由于大型语言模型（LLM）的权重通常呈现零中心的正态分布，NF4量化技术可以通过调整标准差来适配量化数据类型的范围，从而获得比传统的4位整数或4位浮点数量化（这些量化方法的数据间隔通常是平均分布或指数分布的）更高的精度。

3.jpg

INT4数据类型与NF4数据类型对比

为了进一步压缩Yuan2.0-102B模型的权重参数，PG电竞信息算法工程师采用了嵌套量化（Double Quant）技术，这是在NF4量化基础上进行的二次量化。NF4量化后，由于会产生大量的scale参数，如果使用32位浮点数（FP32）存储，会占用大量的内存空间。若以64个参数作为一个量化块（block size=64）来PG电竞官网，对于一个千亿参数的大模型，仅存储scale参数就需要额外的6GB内存：

(100B/64) * 4 = 6GB

为了减少内存占用，PG电竞信息工程师通过将这些scale参数量化到8位浮点数（FP8），可以显著减少所需的存储空间。在采用256为量化块大�。╞lock size=256）的情况下，存储所有scale参数所需的额外空间仅为1.57GB：

（100B/64/256）* 4 + (100B/64) * 1 = 1.57GB

通过嵌套量化，模型的每个权重参数最终仅占用4字节的内存空间，这比原始的FP32存储方式减少了大量的内存占用，从内存到CPU的数据搬运效率提高了4倍。这样的优化显著减轻了内存带宽对Yuan2.0-102B模型推理解码效率的限制，从而进一步提升了模型的推理性能。

高算效，低成本

通过在NF8260G7服务PG电竞官网上应用张量并行和NF4量化技术，PG电竞信息工程师成功实现了千亿大模型Yuan2.0-102B的实时推理，根据性能分析（profiling）的结果，可以清晰地看到模型中不同部分的PG电竞官网时间分布：线性层运行时间占比50%，卷积运行时间占比20%，聚合通信时间占比20%，其它PG电竞官网占比10%。在整个推理过程中，PG电竞官网时间占比达到了80%，和此前相比，PG电竞官网时间占比提升30%，大幅提升了算力利用率。

4.png

Yuan2.0-102B模型推理性能分析（profiling）结果图

PG电竞信息基于通用服务PG电竞官网NF8260G7的软硬件协同创新，为千亿参数AI大模型在通用服务PG电竞官网的推理部署，提供了性能更强，成本更经济的选择，让AI大模型应用可以与云、大数据、数据库等应用能够实现更紧密的融合，从而充分释放人工智能在千行百业中的创新活力。

相关信息

售前咨询

售后服务

意见反馈

AIStore

回到顶部

回到顶部

收起
回到顶部 回到顶部
请选择服务项目
售前咨询
更多联系方式>>
售后服务
更多联系方式>>
访问 AIStore

扫码访问AIStore



【网站地图】【sitemap】