作者：望宸 笔者近期参与了一个开源项目的建设：HiMarket。这个开源项目旨在帮助开发者，尤其是企业快速实现私有的 AI 开放平台，专注在对外提供 API 和 MCP 服务的管理上。因此，借此机会对主流 API 协议的功能和应用场景进行了梳理，以厘清容易混淆的概念。 API（Application Programming Interface，应用程序编程接口），顾名思义，是用来连接不同软件系统，以实现数据交互和服务共享的作用。构成上，它是一组规定或协议，定义了不同应用或组件之间，相互交互的方法。用三个关键词来定义 API 的核心能力，就是：定义规则、解耦系统、提升复用性。 广...

作者：桂楚，阿里云AI网关实习工程师 随着LLM服务广泛部署，服务的可用性和流量治理面临新的可靠性要求。由于LLM服务参数量级限制，其服务部署和重启时间较长，如果服务因为过载而故障，则重启时间达到分钟级，对服务可用性影响极大。阿里云AI网关提供了多来源LLM服务的代理功能，不仅可以通过简单易用的配置对LLM服务进行代理，同时提供了丰富的LLM服务入口流量治理功能，提高LLM服务的可观测性和可用性。对于自部署的LLM服务，传统网关的检测和过载保护机制往往滞后，阿里云AI网关提供了一系列如被动健康检测、首包超时和fallback等高可用机制，通过合理配置，能够实现对LLM服务的过载状态实...

Higress 引擎更新 本次发布概览 本次发布包含 42 项更新，涵盖了功能增强、Bug修复、性能优化等多个方面。 更新内容分布 + 新功能: 21项 + Bug修复: 14项 + 重构优化: 4项 + 文档更新: 2项 + 测试改进: 1项 重点关注 本次发布包含 3 项重要更新，建议重点关注： + feat: add MCP SSE stateful session load balancer support (): 此功能使得基于SSE协议的MCP服务能够更好地保持客户端与服务器之间的持久连接，增强用户体验和应用性能，特别是在需要维持长时间连接以进行数据推送的场景中...

作者：岛风、十眠、严研 HiMarket 正式开源 由 Higress 社区和 Nacos 社区共同发起的全新开源项目 HiMarket AI 开放平台，正式发布。 GitHub 地址： 在 AI 浪潮席卷千行百业的今天，我们看到无数企业和开发者满怀激情地投身其中。无论是将内部的大模型能力赋能给各个业务线，还是希望将昂贵的 AI 资产对外开放、构建生态，一个强大的“AI 开放平台”都已成为刚需。 作为 Higress 的贡献者，我们在与许多开发者和企业用户的交流中发现：当企业借助 Higress AI 网关完成模型与工具的统一接入后，难点便从“连通”转向“协作与产品化”。工具提...

作者：王灏廷、赵源筱 Dify 是一款开源的 AI 应用开发平台，旨在帮助开发者和非技术人员快速构建和运营基于生成式AI的应用。截至目前，Dify 开源 Star 数量已经突破 11 万，具有庞大的用户群体，已成为构建生成式 AI 应用的热门选择之一。 然而，随着 Dify 在实际生产实践中持续落地，根据云上客户以及社区反馈，其内置的 RAG 引擎逐渐暴露出复杂文本分块处理能力低、检索功能薄弱、配置不够简洁智能等问题，这些问题直接导致 Dify 内置 RAG 的召回质量不理想，进而影响了大模型生成内容的准确性与可靠性，难以满足企业级生产环境对高精度知识检索的需求。 为解决上述云上客户以...

本文整理自携程旅游研发总监董艺荃在2025中国可信云大会上的分享，董艺荃 GitHub ID CH3CHO，同时也是 Higress 的 Maintainer。分享内容分为以下4部分。 · 大规模应用 AI 技术的过程中遇到了哪些问题 · 网关选型上有哪些考虑 · 落地 AI 网关时，有哪些难点和如何应对的 · 应用成效和未来规划 01 大规模应用 AI 技术的过程中遇到了哪些问题 为了进一步提升服务水平和服务质量，携程很早就开始在人工智能大模型领域进行探索。而随着工作的深入，大模型服务的应用领域不断扩大，公司内部需要访问大模型服务的应用也越来越多，不可避免的就遇到了下面这几个问...

作者：赵源筱、王灏廷 Dify 作为一款开源的 AI 应用开发平台，凭借其灵活的工作流编排和易用的界面，在社区和云上部署中获得了广泛的关注。在 github 上，Dify 平均日增 20 个左右 issue，在开源也具有较高的活跃度。 然而，随着 Dify 用户规模扩大、生产落地增加，Dify 应用在性能方面的问题也逐渐暴露，影响了用户体验和生产环境的稳定性。 针对 Dify 性能问题，本文将介绍如何使用 Higress AI 网关保证 Dify 应用的全链路高可用性，并给出操作实践指南。 Dify 应用性能问题 对于一个对外提供服务的 Dify AI 应用，能够正常运行的核心基础...

作者：望宸 产品界面，往往体现了产品的设计哲学，界面是产品的第一入口。 近期，1688 推出了 1688 AI APP，这貌似是国内第一个电商领域的独立 AI APP 应用（若不是，欢迎评论指正）。本文试图通过产品界面这一入口，窥探其背后的系统工程。（笔者并非就职于 1688 团队，仅从一位 1688 普通用户的视角做些体验评测）。 1688 在 AI 领域的技术实践，推荐阅读阿里巴巴高级算法专家张进的这篇分享： 产品界面即用户认知：1688 APP 和 1688 AI APP 的不同 在软件产品的演化史中，首页界面往往折射出产品的设计哲学。对比 1688 App 和 ...

Higress 本次发布概览 本次发布包含 31 项更新，涵盖了功能增强、Bug修复、性能优化等多个方面。 更新内容分布 + 新功能: 13项 + Bug修复: 5项 + 重构优化: 7项 + 文档更新: 6项 重点关注 本次发布包含 2 项重要更新，建议重点关注： + feat: Add Higress API MCP server (): 新增的Higress API MCP服务器功能增强了AI Agent对Higress资源的管理能力，支持通过MCP进行路由和服务的增删改查操作，提升了系统的灵活性和可维护性。 + Migrate WASM Go Plugins to ...