财政数据采集与分析 Skill#

环境准备#

本 skill 依赖 conda 环境 scrapyEnv，运行前确认环境已安装：

bash

conda activate scrapyEnv

若环境不存在，根据项目的 environment.yml 创建：

bash

conda env create -f $SKILL_DIR/FinancialDataCollection/environment.yml

入口脚本#

text

python3 $SKILL_DIR/FinancialDataCollection/scripts/run_pipeline.py

可选参数：

• --start-month YYYY-MM：起始月份
• --end-month YYYY-MM：结束月份
• --output-dir DIR：输出目录（默认 output，统一存放于以下路径）

示例：

bash

# 采集全部历史数据
python3 $SKILL_DIR/FinancialDataCollection/scripts/run_pipeline.py --output-dir $WORKSPACE/output

# 只采集 2024 年数据
python3 $SKILL_DIR/FinancialDataCollection/scripts/run_pipeline.py --start-month 2024-01 --end-month 2024-12 --output-dir $WORKSPACE/output

路径说明：

• $SKILL_DIR：skill 自身目录（ ~/.openclaw/skills/financial-data-collection/），项目代码放在 $SKILL_DIR/FinancialDataCollection/ 内
• $WORKSPACE：agent 工作区根目录（ ~/.openclaw/workspace/），采集的输出数据统一放在 $WORKSPACE/output/ 下
• 迁移到其他机器时，将整个 skill 目录复制过去即可，无需修改任何路径

输出结构#

运行后在统一输出路径下按期间组织，结构如下：

text

$WORKSPACE/output/
├── YYYYMM-YYYYMM/           ← 每个统计区间一个目录
│   ├── raw_documents.xlsx   ← 原始公告层
│   └── extracted_metrics.xlsx ← 原始提取层（累计值）
└── 全量汇总/                ← 全量运行汇总（优先使用）
    └── YYYYMMDDHHMMSS/
        ├── derived_metrics_*.xlsx   ← 推导层（含单月值、赤字派生指标）
        └── monthly_summary_*.xlsx   ← 月度汇总宽表（行=指标，列=各月）

各文件说明#

各期间 extracted_metrics.xlsx：原始提取层，每行 = 某指标在某个统计区间的累计值，字段包含 指标（单位：亿元）（即指标名称）、 指标值、 同比增速、 来源公告 等。

全量汇总/derived_metrics_*.xlsx：推导层，共 3 类推导记录：

• 累计差值推导（单月值）
• 1-2月平均值拆分
• 赤字派生指标（窄口径、宽口径）

全量汇总/monthly_summary_*.xlsx：月度宽表，行 = 指标（共 47 项），列 = 各月（201301 起），适合直接做跨年度环比、同比分析。

数据文件使用优先级#

⚠️ 优先使用全量汇总文件夹中的文件，仅在汇总文件缺失或需要验证时再查各期间的分文件。

何时用哪个：

• 分析"某指标的月度趋势 / 同比 / 环比"→ 优先用 monthly_summary_*.xlsx
• 分析"单月推导值或赤字派生过程"→ 用 derived_metrics_*.xlsx
• 需要验证某条原始数据来源→ 用各期间的 extracted_metrics_*.xlsx

核心指标口径#

财政收入类#

• 全国一般公共预算收入 / 全国税收收入 / 非税收入
• 中央 / 地方一般公共预算收入
• 主要税种：国内增值税、消费税、企业所得税、个人所得税、证券交易印花税等

财政支出类#

• 全国一般公共预算支出 / 中央本级支出 / 地方支出
• 主要支出科目：教育、社保就业、卫生健康、节能环保、交通运输、债务付息等

派生指标#

• 窄口径财政赤字 = 当月一般公共预算支出 − 当月一般公共预算收入
• 宽口径财政赤字 = (当月一般公共预算支出 + 当月政府性基金支出) − (当月一般公共预算收入 + 当月政府性基金收入)

累计值转单月值规则#

• 1 月：累计值即为当月值
• 2 月及以后：单月值 = 本期累计值 − 上期累计值（上期 = 同年上一统计区间）
• 例：1-10月累计 − 1-9月累计 = 10月单月值

爬取异常处理#

运行日志中 [WARN] 开头的行为异常记录，格式为：

text

[WARN] YYYY-MM 指标名称 - 异常原因

常见异常类型及修复方向：

异常类型异常原因修复方向缺少上一期间数据上期公告未抓取或解析失败补充抓取上期数据后重跑 pipeline解析失败网页结构变化或指标格式不匹配检查 src/fiscal_parser.py 的解析正则，定位变化点，更新正则或添加新指标映射规则重复数据同一指标在同一期间有多条记录检查去重逻辑，清理 output 缓存后重跑单位不一致原文使用万元等非亿元单位在 fiscal_transform.py 中检查单位转换逻辑

修复流程：

1. 定位异常指标和期间
2. 查看原始公告内容（raw_documents.xlsx 或财政部官网对应页面）
3. 判断是解析规则问题还是数据本身问题
4. 更新 src/fiscal_parser.py 或 fiscal_transform.py 中的对应规则
5. 删除异常期间的缓存目录后重跑

数据分析指引#

分析思路#

1. 优先读 monthly_summary_*.xlsx：该文件已将所有推导值整理为宽表格式，行 = 47 项指标，列 = 各月（201301 起），适合直接做跨年度同比、环比分析，无需额外计算
2. 若需单月推导细节或赤字派生过程：读 derived_metrics_*.xlsx
3. 若需验证原始数据：读各期间的 extracted_metrics.xlsx

数据粒度说明#

• monthly_summary：直接是单月值（由原始累计值推导得出）
• derived_metrics：记录了推导过程，包含计算公式

生成文件输出路径#

⚠️ 本 skill 生成的所有图表、数据文件（如 .png、.csv 等）一律保存到以下目录，不放在 workspace 根目录：

text

$WORKSPACE/output/artifacts/

输出文件名应包含分析主题和日期，便于识别，例如： tax_revenue_yoy_20260327.png。

分析示例#

示例 1：分析 2024 年各月财政赤字趋势

1. 读取 extracted_metrics.xlsx，过滤 2024 年相关期间（如 2024-01、2024-03、2024-06、2024-09、2024-12）
2. 对每个指标计算单月值
3. 财政收入 = 全国一般公共预算收入（单月值）
4. 财政支出 = 全国一般公共预算支出（单月值）
5. 财政赤字 = 财政支出 − 财政收入
6. 绘图或输出表格

示例 2：对比 2024 年和 2025 年同期税收收入

1. 提取目标年度对应期间（如两者均有 1-2 月、1-6 月等累计值）
2. 计算同期单月值或使用累计值直接对比（注意：累计值不能跨年直接对比，需同口径）
3. 计算同比增速

示例 3：识别异常指标

1. 对各指标计算同比增速
2. 标出增速异常（如增幅 > 50% 或降幅 < -30%）的指标
3. 结合政策背景判断是否为数据异常或口径调整

读取 Excel 的参考代码#

python

import pandas as pd

# 各期间分文件
df = pd.read_excel("$WORKSPACE/output/202401-202412/extracted_metrics.xlsx")

# 全量汇总月度宽表（优先使用）
df_summary = pd.read_excel("$WORKSPACE/output/全量汇总/<最新时间戳>/monthly_summary_<时间戳>.xlsx")

触发规则#

• 抓取数据：优先确认目标月份范围，优先使用 --start-month / --end-month 限制范围减少重复抓取
• 分析数据：优先确认用户需求的时间范围和指标范围，再决定是否需要先运行抓取