sec-news-crawler#

每小时从多个安全社区 RSS 抓取最新文章，按日期合并为每日一篇笔记存入 IMA。

快速运行#

bash

# 立即执行一次抓取
bash ~/.openclaw/workspace/skills/sec-news-crawler/scripts/run.sh

# 查看运行日志
tail -f ~/.openclaw/workspace/logs/sec_news_cron.log

系统架构#

• 爬虫脚本： scripts/crawler.py
• RSS 源配置： scripts/crawler.py 内的 RSS_FEEDS 列表
• 去重库： data/sec_news_seen.json
• Cron：每小时整点执行 scripts/run.sh

工作流程#

1. 从各 RSS 源抓取最新文章
2. 仅保留今天/昨天的文章（按发布日期过滤）
3. 按 URL 去重（同篇文章不重复写入）
4. 同一天所有文章合并为 一篇 笔记，标题 📰 网络安全新闻 YYYY-MM-DD
5. 写入 IMA「Openclaw生成」笔记本

笔记格式#

text

📰 网络安全新闻 2026-03-26（今日）
> 自动抓取 · 更新时间：2026-03-26 18:33 · 共 4 篇文章

1. 文章标题一
   - 来源：嘶吼 | 原文链接
   - 日期：2026-03-26
   - 摘要：...

2. 文章标题二
   - 来源：先知社区 | 原文链接
   ...

管理命令#

操作命令手动执行一次bash ~/.openclaw/workspace/skills/sec-news-crawler/scripts/run.sh查看日志cat ~/.openclaw/workspace/logs/sec_news_cron.log查看上次运行状态cat ~/.openclaw/workspace/data/sec_news_last_run.json重置去重库（重新抓取所有文章）rm ~/.openclaw/workspace/data/sec_news_seen.json查看 cron 配置crontab -l | grep sec_news手动触发 cronrun-parts /etc/cron.hourly（系统级）

添加/移除 RSS 源#

编辑 scripts/crawler.py，修改 RSS_FEEDS 列表：

python

RSS_FEEDS = [
    {"name": "嘶吼",     "url": "https://www.4hou.com/feed",     "type": "rss"},
    {"name": "先知社区", "url": "https://xz.aliyun.com/feed",    "type": "rss"},
    {"name": "Seebug",   "url": "https://paper.seebug.org/rss/", "type": "rss"},
]

当前可用 RSS 源#

来源状态嘶吼✅ 稳定先知社区✅ 稳定Seebug Paper✅ 偶尔

失效源（已移除）： FreeBuf（阿里云 WAF）、安全客、T00ls、安全脉搏、SecWiki、极速安全、补天、CNVD（521）、Seebug（空数据）

漏洞情报爬虫（vuln_crawler.py）#

功能： 每日自动抓取全球漏洞情报（CVE），写入 IMA 每日漏洞集合系列。 英文描述自动翻译为中文。

智能翻译规则#

英文内容翻译为中文时，遵循以下规则：

类型处理方式示例CVE 编号保留英文，加粗显示CVE-2024-1234组件名保留英文apache, nginx, MySQL, WordPress技术术语保留英文RCE, SSRF, XSS, SQL Injection, zero-day协议名保留英文HTTPS, TCP, DNS, OAuth, JWT产品/平台保留英文Kubernetes, Docker, GitLab描述性文字翻译为中文The vulnerability allows... → 该漏洞允许...

数据源（2026-03 实测可用）#

来源类型状态说明NVDREST API✅ 主力每天 7 次查询，覆盖近 7 天所有 CVEcxsecurityRSS✅ 备用SSL 证书跳过，仍可抓取安全客RSS✅ 备用国内唯一稳定可用的安全 RSS

不可用来源： CNVD（HTTP 521）、Seebug（空数据）、补天（空白内容）、工信部（DNS 失败）、CNNVD（无真实 RSS）

运行命令：

bash

IMA_OPENAPI_CLIENTID=... IMA_OPENAPI_APIKEY=... \
MINIMAX_API_KEY=... MINIMAX_GROUP_ID=... \
python3 ~/.openclaw/workspace/skills/sec-news-crawler/scripts/vuln_crawler.py

笔记系列： IMA「漏洞情报」笔记本中，标题格式为 🔐 漏洞情报 YYYY-MM-DD，每天一篇。

去重库： data/vuln_seen.json（CVE ID 去重） 运行日志： logs/vuln_cron.log

环境变量#

变量必须说明IMA_OPENAPI_CLIENTID是IMA 笔记凭证IMA_OPENAPI_APIKEY是IMA 笔记凭证MINIMAX_API_KEY是（翻译）MiniMax API Key（复用 OpenClaw 配置的 key 即可）

IMA 凭证#

需要环境变量（已在 scripts/run.sh 中硬编码，如需更新：

• IMA_OPENAPI_CLIENTID
• IMA_OPENAPI_APIKEY