本文整理自携程旅游研发总监董艺荃在2025中国可信云大会上的分享，董艺荃 GitHub ID CH3CHO，同时也是 Higress 的 Maintainer。分享内容分为以下4部分。 · 大规模应用 AI 技术的过程中遇到了哪些问题 · 网关选型上有哪些考虑 · 落地 AI 网关时，有哪些难点和如何应对的 · 应用成效和未来规划 01 大规模应用 AI 技术的过程中遇到了哪些问题 为了进一步提升服务水平和服务质量，携程很早就开始在人工智能大模型领域进行探索。而随着工作的深入，大模型服务的应用领域不断扩大，公司内部需要访问大模型服务的应用也越来越多，不可避免的就遇到了下面这几个问...

作者：赵源筱、王灏廷 Dify 作为一款开源的 AI 应用开发平台，凭借其灵活的工作流编排和易用的界面，在社区和云上部署中获得了广泛的关注。在 github 上，Dify 平均日增 20 个左右 issue，在开源也具有较高的活跃度。 然而，随着 Dify 用户规模扩大、生产落地增加，Dify 应用在性能方面的问题也逐渐暴露，影响了用户体验和生产环境的稳定性。 针对 Dify 性能问题，本文将介绍如何使用 Higress AI 网关保证 Dify 应用的全链路高可用性，并给出操作实践指南。 Dify 应用性能问题 对于一个对外提供服务的 Dify AI 应用，能够正常运行的核心基础...

作者：望宸 产品界面，往往体现了产品的设计哲学，界面是产品的第一入口。 近期，1688 推出了 1688 AI APP，这貌似是国内第一个电商领域的独立 AI APP 应用（若不是，欢迎评论指正）。本文试图通过产品界面这一入口，窥探其背后的系统工程。（笔者并非就职于 1688 团队，仅从一位 1688 普通用户的视角做些体验评测）。 1688 在 AI 领域的技术实践，推荐阅读阿里巴巴高级算法专家张进的这篇分享： 产品界面即用户认知：1688 APP 和 1688 AI APP 的不同 在软件产品的演化史中，首页界面往往折射出产品的设计哲学。对比 1688 App 和 ...

Higress 本次发布概览 本次发布包含 31 项更新，涵盖了功能增强、Bug修复、性能优化等多个方面。 更新内容分布 + 新功能: 13项 + Bug修复: 5项 + 重构优化: 7项 + 文档更新: 6项 重点关注 本次发布包含 2 项重要更新，建议重点关注： + feat: Add Higress API MCP server (): 新增的Higress API MCP服务器功能增强了AI Agent对Higress资源的管理能力，支持通过MCP进行路由和服务的增删改查操作，提升了系统的灵活性和可维护性。 + Migrate WASM Go Plugins to ...

作者：钰诚 简介 传统的负载均衡算法主要设计用于通用的Web服务或微服务架构中，其目标是通过最小化响应时间、最大化吞吐量或保持服务器负载平衡来提高系统的整体效率，常见的负载均衡算法有轮询、随机、最小请求数、一致性哈希等。然而，在面对LLM服务时，这些传统方法往往暴露出以下几个关键缺陷： 1. 忽略任务复杂度差异：LLM推理请求的复杂度差异极大。例如，一个长文本生成任务可能需要数十倍于短文本分类任务的计算资源。而传统负载均衡器无法感知这种差异，容易导致某些节点过载，而其他节点空闲，造成资源浪费和响应延迟。 2. 缺乏对GPU资源水位的感知：在LLM推理服务中，计算瓶颈主要集中在GPU上，...

中国信通院于2025年7月23日举办的2025年可信云大会大模型推理与信息交互分论坛上，携手阿里云、中兴通讯、网易数之帆、长亮科技等企业单位，共同发布了《人工智能云 AI 网关能力要求》标准，AI 网关能力要求概述如下，覆盖插件集管理、多模型适配能力、可观测性、模型服务集成能力、流量治理、安全防护、大模型工具信息交互支持七大能力板块。 同时，会上发布了 AI Cloud 大模型推理与交互典型案例，共7家案例入选，包含 Higress 服务的3家用户。 + 携程：基于 AI 网关的大模型应用实践 + +

Higress 引擎更新 本次发布概览 本次发布包含 41 项更新，涵盖了功能增强、Bug修复、性能优化等多个方面。 更新内容分布 + 新功能: 19项 + Bug修复: 14项 + 重构优化: 2项 + 文档更新: 6项 重点关注 本次发布包含 2 项重要更新，建议重点关注： + feat: add DB MCP Server execute, list tables, describe table tools (): 通过增加这些工具，用户能够更方便地管理和操作数据库，提高了系统的灵活性和可用性，使得数据库操作更加直观和高效。 + feat: advanced load...

作者：望宸 在经典应用架构中，「网关」往往意味着对用户请求的统一接入、认证鉴权、流控、协议转换等功能，Nginx、Envoy、Kong 等网关项目便是这一类能力的典型代表。而无论是微服务架构，还是云原生架构，这类产品的使用逻辑相对清晰、选型依据也相对稳定。 但进入 AI 应用时代后，原本定义清晰的「网关」概念正在被重新塑造。例如近期较热的 OpenRouter，早期以 LLM MarketPlace 自居的产品，如今也开始将自己定位为 “AI Gateway”。 这标志着三个重要变化： + AI Gateway 的供应商类型更多元化了：不仅有公共云厂商，如阿里云 API 网关...

作者：子葵 Naocs 3.0 中已经支持和Higress配合使用实现存量Http转化为MCP服务，3.0.1 及以上版本在支持存量转化的基础上同时支持同步Nacos中已经注册的原生的MCP服务，并在Higress上进行暴露，完成了对所有Remote Server类型的代理访问支持。 通过结合 Spring AI Alibaba，FastMCP 等框架，可以实现应用自动注册到Nacos中，并通过 Higress 自动将注册的应用对外暴露给Client侧访问。此文档从0到一完成Higress+Nacos配合实现REST API转MCP和透明代理暴露标准 MCP 服务。 环境准备 ...