pans-gpu-calculator — GPU 配置计算器#

输入模型参数量和需求参数，自动推荐最优 GPU 配置并估算成本。

支持的 GPU 型号#

GPU显存FP16 TFLOPS云租赁价格H10080 GB989$2.5/hrA10080 GB624$1.8/hrA10040 GB624$1.2/hrL40S48 GB362$0.8/hrA10G24 GB200$0.5/hr

核心计算公式#

• 模型显存需求 = 参数量 × 2 bytes (FP16) + KV Cache (batch × seq_len × 2 × layers × hidden) + 激活值
• 最小 GPU 数 = ⌈模型显存 / 单卡显存⌉
• 推理吞吐 = GPU TFLOPS × MFU / 模型 FLOPs_per_token
• 训练时间 = 8 × 参数量 × token数 / (GPU数 × TFLOPS × MFU)

使用方法#

bash

# 推理场景 — 对比所有 GPU
python3 scripts/calc.py --params 70B --mode inference --compare

# 推理场景 — 指定 GPU
python3 scripts/calc.py --params 7B --mode inference --gpu L40S --batch 32

# 训练场景
python3 scripts/calc.py --params 7B --mode train --tokens 100B --batch 256

# JSON 输出（便于程序调用）
python3 scripts/calc.py --params 70B --mode inference --compare --json

CLI 参数#

参数说明默认值--params模型参数量，如 7B, 70B, 405B必填--modetrain / inferenceinference--gpu指定 GPU 型号（可选，默认自动推荐最优）自动--batchbatch size1--latency目标延迟 ms（推理模式）无--tokens训练 token 数（训练模式）100B--jsonJSON 格式输出false--compare对比所有 GPU 型号false