如何高效爬取 IBM 官方文档（含动态目录结构）的完整教程

本文介绍一种无需 selenium 或 rpa 的轻量级方案：直接调用 ibm 文档公开的 rest api 获取完整、结构化的目录树（toc），并递归解析所有标题与 url，大幅提升爬取效率与稳定性。

本文介绍一种无需 selenium 或 rpa 的轻量级方案：直接调用 ibm 文档公开的 rest api 获取完整、结构化的目录树（toc），并递归解析所有标题与 url，大幅提升爬取效率与稳定性。

IBM 官方文档（如 Sterling B2B Integrator 6.1.0）虽采用 JavaScript 动态渲染左侧导航栏，但其底层数据实际通过标准化的 JSON API 提供——这正是高效爬取的关键突破口。相比依赖浏览器自动化（如 Selenium）模拟点击展开折叠菜单，直接请求 https://www.ibm.com/docs/api/v1/toc/{product}/{version}?lang=en 接口可一次性获取完整、嵌套式的目录结构（TOC），避免渲染开销、反爬拦截及不稳定交互。

以下是一个完整的 Python 示例脚本，支持递归遍历任意层级的目录节点，并提取每个条目的标题（label）与链接（href）：

import json
import requests

def print_topics(obj, level=0):
    """递归打印目录树，支持 dict（节点）和 list（子节点列表）两种类型"""
    indent = "\t" * level
    if isinstance(obj, dict):
        label = obj.get("label", "Untitled")
        href = obj.get("href", "")
        print(f"{indent}{label} -> {href}")
        # 递归处理子主题
        for child in obj.get("topics", []):
            print_topics(child, level + 1)
    elif isinstance(obj, list):
        for item in obj:
            print_topics(item, level)

# 目标文档 API 地址（版本与语言可按需调整）
doc_api_url = "https://www.ibm.com/docs/api/v1/toc/b2b-integrator/6.1.0?lang=en"

try:
    response = requests.get(doc_api_url, timeout=10)
    response.raise_for_status()
    toc_data = response.json()

    # 输出完整目录结构（可选：保存为 JSON 文件用于后续分析）
    # with open("ibm_b2bi_toc.json", "w", encoding="utf-8") as f:
    #     json.dump(toc_data, f, indent=2, ensure_ascii=False)

    print("IBM Sterling B2B Integrator v6.1.0 目录结构：\n")
    print_topics(toc_data.get("toc", {}))

except requests.exceptions.RequestException as e:
    print(f"请求失败：{e}")
except json.JSONDecodeError as e:
    print(f"JSON 解析错误：{e}")

✅ 优势总结：

• 零前端依赖：不启动浏览器，无 JavaScript 渲染负担；
• 结构化强：返回纯 JSON，天然支持递归、筛选、导出为 CSV/Markdown 等；
• 稳定可靠：API 由 IBM 官方维护，比 DOM 解析更抗页面改版；
• 可扩展性高：轻松适配其他 IBM 产品文档（只需替换 URL 中的 product 和 version）。

⚠️ 注意事项：

• 请遵守 robots.txt 及 IBM 官网的 Terms of Use；建议添加 User-Agent 头并控制请求频率；
• 部分 href 值可能为空（如分类标题），实际抓取正文时需过滤空链接；
• 若需下载 HTML 内容，可基于提取出的 href 拼接完整 URL（通常为相对路径，基础域为 https://www.ibm.com/docs/en/b2b-integrator/6.1.0/）。

掌握这一模式后，你不仅能高效获取 IBM 文档全量导航，还可将其泛化为通用“静态文档站 API 爬取范式”——优先探测 /api/, /toc/, /sitemap.json 等常见端点，往往比硬啃动态 DOM 更优雅、更可持续。