Hardware LLM Optimizer v2.0#

基于 llmfit 的智能硬件LLM推荐工具

安装状态#

llmfit 已安装在: /usr/local/bin/llmfit

快速使用#

当用户问"能跑什么大模型"、"推荐LLM"、"硬件检测"时使用：

1. 查看推荐模型#

bash

llmfit recommend

2. 查看所有推荐（JSON格式，便于解析）#

bash

llmfit recommend --json

3. 按用途筛选#

bash

llmfit recommend --use-case coding
llmfit recommend --use-case chat
llmfit recommend --use-case general
llmfit recommend --use-case embedding

4. 硬件模拟（模拟不同配置）#

bash

# 模拟 16GB 显存
llmfit recommend --memory 16G

# 模拟 32GB 显存 + 64GB RAM
llmfit recommend --memory 32G --ram 64G

5. 交互式TUI（需要终端）#

bash

llmfit

输出字段说明#

字段含义name模型名称parameter_count参数量best_quant推荐量化方案score综合评分（越高越好）estimated_tps预估速度（tok/s）memory_required_gb所需显存run_mode运行模式（GPU/CPU/MoE）fit_level匹配度（Perfect/Good/Marginal）

量化方案参考#

量化质量速度适用场景FP16最高最慢大显存GPUQ8_0很高较快中等显存Q6_K高快6-8GB显存Q4_K_M中高最快4-6GB显存Q2_K中最快<4GB显存

本地运行命令#

安装Ollama模型#

bash

ollama run <model-name>

使用llama.cpp#

bash

# 下载GGUF后
./llama.cpp -m <model.gguf> --rompt <prompt>

最低配置参考（来自llmfit）#

显存推荐模型量化2GBPhi-3-mini, Gemma-2BQ44GBLlama3-8B, Qwen-7BQ46GBLlama2-13B, Mistral-7BQ4/Q68GBLlama2-13B, Yi-9BQ5/Q612GBLlama2-34BQ416GBLlama2-34B, Qwen-72BQ424GB+70B大模型Q4/Q8

安装llmfit（如需）#

bash

curl -fsSL https://llmfit.axjns.dev/install.sh | sh

优势对比#

功能v1.0v2.0 (llmfit)模型库手动查表100+自动匹配量化推荐简单估算智能最优速度估算❌✅下载源❌✅ GGUF硬件模拟❌✅TUI界面❌✅多GPU❌✅MoE支持❌✅

Powered by llmfit | Updated: 2026-04-17