⑴ 算力平台：GPU利用率与集群线性加速比
GPU利用率与集群线性加速比是衡量GPU集群性能的关键指标，它们直接影响大模型训练的效率与成本。决定这些指标的因素众多，包括单GPU卡性能、GPU卡间的互联、集群网络配置以及软件解决方案等。对于千卡GPU集群，算力利用率约为70%，集群线性加速比约为95%；而万卡集群下，算力利用率降至50%，线性加速比接近93%。本文将深入探讨GPU利用率和集群线性加速比的概念与计算方法。
GPU利用率，包含算力利用率与显存利用率，衡量的是大模型训练期间平均每张GPU卡的有效算力和显存，与卡的峰值性能的比例。显存利用率相对容易量化，提升空间也较大，而算力利用率则涉及如何充分利用GPU卡的计算能力。MFU（Model FLOPS Utilization）统计方法用于评估算力利用率，其计算公式为平均训练FLOPS除以卡的峰值FLOPS。例如，MegaScale论文中提到，对于千卡集群，算力利用率约为59%；万卡集群下，这一比例降低至55.2%。
GPU集群线性加速比反映了随着GPU数量增加，计算任务完成速度提升的比例与GPU卡数量增加的比例之间的关系。线性加速比计算公式为任务完成时间缩短比例除以GPU卡数量增加比例。然而，随着集群规模扩大，通信时间开销增加，GPU利用率会下降，线性加速比也会相应降低。极端情况下，GPU数量达到一定值后，再增加GPU卡可能不会继续增加集群总算力。
算力利用率是一个静态指标，表示给定GPU集群下的有效算力获取情况；而线性加速比是一个动态指标，反映集群扩展能力。GPU集群线性加速比可通过平均每张GPU卡的计算吞吐、算力利用率或集群总算力增加比例与GPU卡数量增加比例的比值来表示。实际应用中，由于通信开销等因素，无法实现完美的线性加速。
举例而言，Nvidia的万卡H100集群在从3584卡扩展至10752卡时，线性加速比约为93.16%；在MegaScale论文中，万卡集群相较于千卡集群的线性加速比约为93.29%。这些数据展示了GPU利用率与集群线性加速比在不同集群规模下的表现。
通过深入理解GPU利用率与集群线性加速比的概念、计算方法及其影响因素，我们可以更有效地优化GPU集群配置，提高大模型训练效率与成本效益。
⑵ 什么是深度学习的算力
在深度学习的领域中，模型的算力衡量标准至关重要，其中FLOPs（每秒浮点运算次数）、Macs（乘加运算）以及FC（全连接层）、CNN、LSTM和Transformer模型的计算量是衡量性能的关键指标。让我们一一解析这些术语。
FLOPs</，全称为Floating Point Operations Per Second，是评估硬件性能和模型运行速度的基石。它的单位包括MFLOPs（百万）、GFLOPs（十亿）、TFLOPs（万亿）、PFLOPs（千万亿）以及更高层级。值得注意的是，FLOPs与FLOPS（每秒浮点运算次数）虽然相似，但前者强调的是每秒执行的运算次数，而后者更侧重于概念表述。
Macs</，即 Multiply-Add Operations，常被用于衡量模型的复杂度，特别是在工业界中，QPS（每秒查询处理数）通常被用来评估处理速度。Macs与FLOPs关联密切，大约每1个Macs对应2个FLOPs，这意味着Macs更侧重于实际执行的计算操作。
训练模型估算</，如全连接层（FC Layer），其计算量主要来自矩阵乘法，每个元素涉及乘法和加法。为了简化计算，FLOPs的计算公式通常涉及参数数量，这有助于预测训练时间。
CNN Layer</的计算量则由卷积核尺寸和输入通道数决定，每层的FLOPs计算公式虽然包含了这些变量，但实际计算时会排除常数项，以简化分析。
LSTM Layer</的计算量涉及词向量维度和隐藏层维度，其FLOPs由四个非线性变换的矩阵乘法组成，每一层都有其独特的计算需求。
Transformer 架构</，尤其是LLM（大型语言模型），其计算量主要源于注意力机制和多层感知器（MLP）模块。Encoder和Decoder各有6层注意力层，加上Decoder的mask机制，每层的参数量包括Multi-head Attention和MLP的特定矩阵形状。
在Transformer的参数分析中，每层的参数计算包括Attention模块的缩放和平移参数，以及MLP的参数量。例如，每层Attention的参数量可以通过矩阵乘法的大小来估算。
Transformer的总参数还包括词嵌入矩阵，随着模型层数的增加，如7B到70B的模型，隐藏层参数量通常会有显著增长。
计算FLOPs时，Transformer模型主要依赖于矩阵相乘，公式通常是Input_size乘以参数数量再乘以2。假设训练语料的Token数，比如10亿，那么训练所需的FLOPs大约可以这样估算：FLOPs ≈ 100,000,000 x Parameter x 2。
对于LLM，如LLaMa-13B模型，FLOPs的计算公式更复杂，会考虑attention、LM head以及隐藏层的大小。经过简化后，FLOPs大致为...（具体数值根据模型参数计算得出）。
要深入了解这些计算细节，可以参考Ethan Yan的文章，它详细讨论了估算与精算的区别，以及是否考虑FFN（Feed-Forward Network）和词表计算。务必查阅Attention is All you Need和The Illustrated Transformer等权威论文和博客以获取深入见解。
以上内容由Zhihu On VSCode整理，为理解模型训练背后的算力计算提供了宝贵的指导。
⑶ TOPS（处理器运算能力单位）
TOPS（处理器运算能力单位）是一个衡量处理器每秒执行操作次数的指标，单位为万亿次（1012）。与此类似的还有GOPS（十亿次）和MOPS（百万次）。在某些应用中，会用TOPS/W来评价处理器在单位功耗下的运算效率。OPS与FLOPS（浮点运算次数）相似，前者是操作次数，后者是浮点运算次数。
FLOPS定义为每秒执行的浮点运算次数，是科学计算领域衡量处理器性能的常用指标。一个MFLOPS代表每秒一百万次浮点运算，一个GFLOPS代表每秒十亿次浮点运算，一个TFLOPS代表每秒一万亿次浮点运算，一个PFLOPS代表每秒一千万亿次浮点运算。这里的前标与内存单位一致，采用二进制计算，每进一级为1024单位。
常规神经网络算力方面，如AlexNet处理224*224图像需1.4GOPS，ResNet-152处理相同尺寸图像需22.6GOPS。对于1080p图像（1920*1280像素，30FPS）的8路流，ResNet-152处理能力约为265Teraop/sec，相当于30张高端显卡的性能。EIE在稀疏网络上的算力可达102GOPS/s，相当于同等级非稀疏网络的1TGOPS/s。一些层的具体算力则需参考特定论文或资料。
CPU处理能力的衡量单位包括MIPS（百万指令/秒）和DMIPS（Dhrystone百万指令执行速率/秒）。MIPS衡量整数运算性能，而DMIPS用于评估处理器在Dhrystone基准程序下的整数运算性能。FLOPS衡量浮点运算性能，ARM架构的MIPS值与处理器频率的关系可通过公式MIPS=0.9×MHz进行估算。NXP S32V234处理器是专门用于辅助驾驶硬件计算的平台。
ROM（只读存储器）用于存放程序，通常分为片内和片外。程序存储区的地址范围从0x00到0x7F（片内）和0x00到0xFF（片外）。RAM（随机存取存储器）用于数据存储，STC89C52单片机有512字节RAM，分为片内（0x00到0x7F）和片外（0x00到0xFF）。
NCC S1神经网络计算卡采用AI专用APiM架构，提供5.6Tops算力，峰值性能强大，适用于高性能边缘计算。其核心采用28nm工艺制程，功率效率高，能耗比为9.3 Tops/W。搭配ROC-RK3399-PC主板，具备高性能处理器与丰富接口，可快速集成边缘计算硬件平台。提供基于PyTorch的模型训练工具PLAI，支持多种网络训练模型实例，适用于深度学习应用。
⑷ 训练模型算力的单位：FLOPs、FLOPS、Macs 与 估算模型（FC, CNN, LSTM, Transformers&&LLM）的FLOPs
FLOPS（Floating Point Operations per Second）代表每秒浮点运算次数，是衡量计算速度的单位，常用于评估硬件性能，如GPU的计算算力，以及描述深度学习模型在GPU上运行时的速度。
例如，英伟达A100与H100以及NVLink技术连接的两块H100在进行不同精度运算时的算力对比，都使用TFLPOS（每秒1万亿次运算）作为算力单位。
FLOPs的基本单位还包括FLOPs（Floating Point Operations），表示浮点运算次数，用于衡量模型或算法的总体复杂度。在论文中，常用GFLOPs（1 GFLOPs=10^9 FLOPs）作为单位。QPS（queries per second，即每秒处理的个数）也是衡量模型处理速度的指标。
MACs（Multiply ACcumulate operations）指乘加累积操作次数，通常与FLOPs混淆。实际上，1个MACs包含1个乘法操作和1个加法操作，相当于2个FLOPs。
估算模型FLOPs的方法通常有手动估算和利用第三方包获取。以下是对FC Layer、CNN Layer、LSTM Layer和LLM & Transformers的FLOPs推导和估算的介绍。
FC Layer的FLOPs计算公式为FLOPs = Input_size x Parameter x 2，其中Input_size是输入值大小，Parameter是参数量。
CNN Layer的FLOPs计算公式为FLOPs = Input_size x Parameter x 2，其中Input_size是输入值大小，Parameter是参数量。
LSTM Layer的FLOPs计算公式为FLOPs = Input_size x Parameter x 2，其中Input_size是输入值大小，Parameter是参数量。
Transformers & LLM的FLOPs计算公式为FLOPs = 6TP，其中TP是模型训练过程中需要的总浮点运算次数。