Auto-Improvement Orchestrator#

从评估到改进到验证的完整管线，让 Skill 自动变好。

When to Use#

• 评估一个 skill 的质量（9 维打分 + 4 角色评审）
• 自动改进 SKILL.md（生成候选→打分→执行→门禁）
• 批量改进多个 skill（autoloop 连续运行）
• 从 Claude Code 会话日志提取用户反馈信号
• 对比 skill 改进前后的 Pareto front

When NOT to Use#

• 手动编辑单个 SKILL.md → 直接改文件
• Agent 执行可靠性 → 用 execution-harness（独立仓库）
• 纯文档生成 → 用 doc-gen
• Prompt 优化（token 级）→ 用 DSPy

Quick Start#

bash

# 打分
python3 skills/improvement-learner/scripts/self_improve.py \
  --skill-path /your/skill --max-iterations 1

# 自动改进 5 轮
python3 skills/improvement-learner/scripts/self_improve.py \
  --skill-path /your/skill --max-iterations 5

# 从会话日志提取反馈
python3 skills/session-feedback-analyzer/scripts/analyze.py \
  --output feedback.jsonl

Architecture#

11 个管线 skill 分三层：

• 评估层: learner（9 维结构评分）、evaluator（执行测试）、session-feedback（用户反馈）
• 改进层: generator → discriminator → evaluator → executor → gate（6 层门禁）
• 控制层: autoloop（连续运行）、benchmark-store（Pareto front）、execution-harness（独立仓库）

辅助工具: skill-forge（造 skill）、skill-distill（合并 skill） 验证目标: prompt-hardening、deslop

Related#

• execution-harness — Agent 执行可靠性（38 patterns × 6 axes）