Cloud Product Analysis

数据分析

云产品技术文档对比工具，自动抓取阿里云、华为云、AWS、腾讯云官方文档，生成结构化对比资料，辅助技术选型和学习

网页抓取竞品分析

746

下载量

安装量

收藏量

★ 5.0

综合评分ⓘ

概述

更多信息

云产品文档对比工具#

工具说明#

这是一个云产品技术文档聚合工具，帮助开发者和架构师快速了解不同云厂商的产品特性。

适用场景：

技术选型前了解产品差异
学习云计算产品知识
对比不同云厂商的产品能力
快速查阅官方文档关键信息

快速开始#

方式一：使用文档抓取脚本（推荐）#

脚本位于 scripts/cloud_doc_scraper.py，自动解析文档目录、抓取核心页面、输出 markdown。

依赖需手动安装： pip install playwright httpx beautifulsoup4 && playwright install chromium

bash

# 默认对比阿里云和华为云
python scripts/cloud_doc_scraper.py --product ecs

# 对比阿里云、华为云、AWS（三方对比）
python scripts/cloud_doc_scraper.py --product oss --providers aliyun,huawei,aws

# 只对比阿里云和 AWS
python scripts/cloud_doc_scraper.py --product rds --providers aliyun,aws

# 自定义输出和页数
python scripts/cloud_doc_scraper.py --product redis --providers aliyun,huawei,aws --output redis_3way.md --max-pages 15

# 查看所有支持的产品
python scripts/cloud_doc_scraper.py --list

支持的产品：ecs, oss, rds, redis, ack, fc, slb, maxcompute, pai, bailian, cdn, nas, flink, elasticsearch, dws

支持的厂商：

aliyun（阿里云）
huawei（华为云）
aws（亚马逊云）
tencent（腾讯云）

输出：markdown 文件，包含各厂商的官方文档原文 + 更新日志，可直接粘贴给 AI 做竞品分析。

工作原理：

检测依赖是否就绪，缺失时提示安装命令并退出
用 Playwright 打开文档首页，解析左侧目录导航
按优先级筛选核心页面（产品介绍 > 规格参数 > 计费 > 应用场景）
并发抓取各页面内容，输出去噪后的纯文本
支持 HTTP fallback（Playwright 抓取失败时自动用 httpx+BS4）
支持 deep_links（目录解析失败时使用预配置的页面 URL）
扩展兼容模式（ --stealth）默认关闭，仅在显式启用时为 JS 重型站点提供额外的浏览器上下文配置

方式二：手动用 web_fetch 逐页抓取#

参考下方"官方文档入口"表格，用 web_fetch 工具逐页抓取文档内容。

官方文档入口#

文档 URL 说明#

华为云文档：

旧版文档（productdesc-*）：部分产品已 404（OBS, RDS, DCS, CDN, SFS 等），脚本已内置正确的 deep_links
新版文档（SPA index.html）：需要 JS 渲染，web_fetch 只能拿到空壳，建议用脚本
更新日志： https://support.huaweicloud.cn/wtsnew-{product}/index.html

阿里云文档：

主入口： https://help.aliyun.com/zh/{product}
更新日志： https://help.aliyun.com/zh/{product}/product-overview/release-notes
URL 可能变更，脚本会自动从目录导航发现链接

AWS 文档：

中文文档： https://docs.aws.amazon.com/zh_cn/{service}/
更新日志：各产品文档内的 document-history.html 或 WhatsNew.html
脚本使用预配置的 deep_links 直接抓取核心页面

阿里云#

华为云#

AWS（亚马逊云）#

腾讯云#

使用方式#

用户输入目标产品后，执行以下步骤：

第一步：查找对应产品 从上表查找两个云厂商的对应产品。若预置清单无对应产品，告知用户并提供已知的文档入口。

第二步：运行文档抓取脚本

bash

python scripts/cloud_doc_scraper.py --product {product_key} --output {product_key}_docs.md

脚本会自动完成：依赖检查 → 目录解析 → 核心页面筛选 → 并发抓取 → 输出 markdown。

若脚本不可用，可使用 web_fetch 手动逐页抓取（参考上方文档入口表格）。

第三步：文档内容优先级 按以下优先级抓取文档内容：

产品概述/简介页面（了解产品定位和核心价值）
组件版本表（大数据类产品，如 EMR 组件版本、MRS 组件版本）
核心特性/功能说明页面（了解能力边界）
规格参数/性能指标页面（了解性能上限）
内核增强说明页面（了解自研能力）
最佳实践/使用场景页面（了解适用场景）
更新日志（了解近12个月更新动态）

第四步：整理对比信息 基于抓取的文档内容，整理以下信息：

产品形态差异（托管服务 vs PaaS 平台等）
关键指标的数字差距（性能上限、规格范围、SLA 等）
功能支持差异（一方有、一方没有的能力）
实现路径差异（相同功能的不同实现方式）
更新动态差异（近期迭代重点）

第五步：生成对比文档 输出结构化对比文档，包含：

两款产品的核心差异点
各自的优势和适用场景
功能/性能对比表格

所有结论必须基于官方文档，标注信息来源。

第六步：保存并展示结果

将完整分析报告保存为 markdown 文件（如 {product_key}_competitive_analysis.md），写入 workspace
必须将分析报告的核心内容直接展示给用户——不要只说"已保存到文件"，而是把关键结论、对比表格、选型建议等直接输出到对话中，让用户一眼就能看到结果
在展示末尾附上文件路径，方便用户后续引用

对比维度参考#

根据产品类型，优先对比以下维度：

基础维度（必选）：

开源组件版本支持（如 Elasticsearch 7.10/8.x、OpenSearch 2.x）
内核增强能力（自研内核、性能优化、稳定性增强）
核心功能完整性（向量检索、存算分离、智能运维）
规格与性能上限（单节点存储、分片数、QPS）

增强维度（按产品类型选择）：

搜索类：向量检索算法、量化方式、向量维度、AI 搜索能力
数据库类：高可用架构、备份恢复、容灾能力
大数据类：计算引擎、存储格式、数据源集成
AI 类：模型管理、推理能力、RAG 支持

迭代维度（可选）：

近 12 个月功能更新记录
产品迭代重点（从更新日志推断）

使用约束#

所有信息来自官方文档，不使用第三方信息或推测内容
若文档抓取失败，明确说明失败原因
若预置清单无对应产品，告知用户并提供已知入口
若产品形态差异过大，说明差异后再对比可对比的维度
对比基于事实数据，避免主观评价
版本号、性能数据、规格参数等必须标注来源文档

脚本技术细节#

依赖（需手动安装）#

Python 3.10+
playwright + chromium（浏览器自动化）
httpx + beautifulsoup4（HTTP fallback）

安装命令：

bash

pip install playwright httpx beautifulsoup4
playwright install chromium

已知限制#

华为云部分产品（OBS, RDS, DCS, CDN, SFS）旧版 productdesc 页面已 404，脚本使用 deep_links 兜底
华为云文档站部分页面需要 JS 渲染，web_fetch 只能拿到空壳，建议用脚本
华为云 changelog 页面（wtsnew-*）部分在 .cn 域名 404，脚本自动回退 .com
阿里云部分子页面可能返回空内容，脚本会尝试 HTTP fallback
个别 deep_links URL 可能随文档更新而失效，需定期维护
扩展兼容模式（ --stealth）默认关闭，仅在用户显式启用时生效，用于为 JS 重型站点提供额外的浏览器上下文配置

AdMapix 原始数据层，提供广告创意、应用、排名、下载/收入及市场元数据。返回 AdMapix API 的结构化 JSON；调用方...

数据分析需 API Key

★ 297↓ 14.1万3 个月前更新

通过 Tavily API 进行网页搜索（Brave 替代方案）。当用户要求搜索网页、查找来源或链接，且 Brave 网页搜索不可用时使用。

数据分析需 API Key

★ 273↓ 10万3 个月前更新

数据分析与可视化。查询数据库、生成报告、自动化电子表格，将原始数据转化为清晰可行的见解。适用于：(1) 您……

数据分析

★ 210↓ 6.9万3 个月前更新

管理和监控个人股票自选列表，支持利用同花顺数据添加、删除、列出股票及汇总近期表现。适用于用户希望追踪特定股票、获取表现汇总或管理自选列表时。

数据分析

★ 112↓ 4.6万3 个月前更新

Cloud Product Analysis

云产品文档对比工具#

工具说明#

快速开始#

方式一：使用文档抓取脚本（推荐）#

方式二：手动用 web_fetch 逐页抓取#

官方文档入口#

文档 URL 说明#

阿里云#

华为云#

AWS（亚马逊云）#

腾讯云#

使用方式#

对比维度参考#

使用约束#

脚本技术细节#

依赖（需手动安装）#

已知限制#

AdMapix

Tavily 搜索

Data Analysis

Stock Watcher

Blogwatcher

Model Usage

Cloud Product Analysis

云产品文档对比工具#

工具说明#

快速开始#

方式一：使用文档抓取脚本（推荐）#

方式二：手动用 web_fetch 逐页抓取#

官方文档入口#

文档 URL 说明#

阿里云#

华为云#

AWS（亚马逊云）#

腾讯云#

使用方式#

对比维度参考#

使用约束#

脚本技术细节#

依赖（需手动安装）#

已知限制#

相关推荐

AdMapix

Tavily 搜索

Data Analysis

Stock Watcher

Blogwatcher

Model Usage