HiMarket 可观测能力介绍

概述

HiMarket 内置了完善的可观测能力，帮助管理员实时监控 AI 网关的运行状态。通过可观测大盘，您可以掌握模型调用统计、MCP 工具调用统计、请求成功率、响应时间、Token 用量等关键指标，及时发现和排查问题。

可观测大盘

HiMarket 提供两类可观测大盘：

模型监控大盘

面向 LLM 模型调用的监控：

• KPI 卡片：总请求数、独立调用者数、Fallback 请求数、输入/输出/总 Token 数
• 时序趋势图：QPS（流式/非流式/总体）、请求成功率、Token 吞吐量、平均响应时间、首包响应时间、缓存命中率、限流请求数
• 统计表格：模型/消费者/服务 Token 使用统计、错误请求统计、限流消费者统计、风险统计
• 筛选维度：按实例、API、模型、路由、服务、消费者筛选

MCP 监控大盘

面向 MCP Server 和工具调用的监控：

• KPI 卡片：总请求数、独立调用者数、网关入/出流量
• 时序趋势图：按状态码分组的 QPS、总 QPS、平均响应时间、P99/P95/P90/P50 响应时间
• 统计表格：Method 分布、网关/后端状态码分布、请求分布
• 筛选维度：按路由、MCP 工具名称、MCP Server、上游服务、消费者筛选

方案选择

HiMarket 支持两种可观测数据源，选择适合您环境的方案：

	SLS 方案（推荐）	数据库方案
适用场景	阿里云环境、大规模生产	非阿里云环境、中小流量
日志采集	ai-statistics 插件 + SLS 采集	db-log-pusher 插件 + db-log-collector 服务
存储依赖	阿里云 SLS	MySQL
开源程度	依赖阿里云服务	完全开源
商业化网关	开箱即用（开启日志投递即可）	不适用
功能覆盖	模型大盘 ✅ MCP 大盘 ✅ Token 统计 ✅ 响应时间 ✅ 日志查询 ✅	模型大盘 ✅ MCP 大盘 ✅ Token 统计 ✅ 响应时间 ✅ 日志查询 ✅

两种方案的功能完全一致，区别仅在于数据存储和采集方式。

使用阿里云 SLS（推荐）

适用于以下场景：

• 使用阿里云商业化 AI 网关（阿里云 AI 网关或飞天企业版），开箱即用
• 使用开源 Higress 部署在阿里云环境
• 需要强大的 SQL 日志查询和分析能力

👉 查看 SLS 方案配置指南

使用数据库

适用于以下场景：

• 不使用阿里云环境，需要纯开源方案
• 希望将日志数据存储在自有数据库中
• 中小流量场景，追求部署简单

👉 查看数据库方案配置指南

架构设计

HiMarket 的可观测模块采用了统一接口、多数据源的架构：

• 统一查询接口：前端通过统一的可观测 API 发起查询，后端根据 logSource 配置自动路由到对应实现
• 预置查询场景：两种数据源共享相同的场景标识（scenario），内置丰富的预置 SQL
• 优雅降级：数据源未配置或查询失败时，自动返回空数据，不影响系统正常运行

数据源切换通过环境变量或配置文件实现：

# 环境变量方式
export OBSERVABILITY_LOG_SOURCE="SLS"  # 或 DB

# 配置文件方式
observability:
  log-source: SLS   # 或 DB