逻辑参数 = 实际模型参数(不是打包的张量元素)。MXFP4 每个 U8 字节 2 个 FP4 值

每 token 激活参数 = 每次前向传递使用的参数。MoE 中仅 top_k 专家 + 共享专家处于激活状态

MoE(混合专家):路由专家通过 EP 分片,共享专家始终激活

MLA(多头潜在注意力):使用压缩潜在 KV(kv_lora_rank + qk_rope_head_dim),非完整 K/V

MTP(多 token 预测):推测解码辅助模块。正常推理不计算,除非显式启用

KV 缓存 = 每个 token 的缓存键/值内存。MLA 用潜在公式;GQA/MQA 用经典公式

TP(张量并行):在单个 NVSwitch 域内分片注意力 + 非专家权重

EP(专家并行):分片路由专家权重。TP=EP=8 表示 8 个 GPU,不是 64

PP(流水线并行):跨阶段分割层。尚无延迟惩罚模型

KV 池 = 减去权重 + 开销后的剩余 VRAM。并发 = KV 池 / 每 token KV / P95 活跃 token

Roofline = 理论计算/内存下界。不是实际 TTFT/TPOT — 无基准时显示 UNKNOWN

浪费惩罚:惩罚过大的 GPU。8B 模型在 B300(288GB)上比 H100(80GB)受更多惩罚

安全裕量:保留 3% 可用 VRAM 空闲。每个 PASS 候选的 margin > 0

参考:DeepSeek-V3 GitHub、vLLM recipes、OpenAI gpt-oss 文档、NVIDIA GPU 规格。详见 docs/calculation-methodology.md