网关承载了业务开发和后端运维的诸多需求，例如路由管理、流量调度、API 管理、入口安全管理等，另外网关侧也需要结合服务治理来保障全链路的稳定性，针对大模型场景，还有例如模型重试&切换、token 配额管理&限流等新需求，这就造成了大部分企业采用多层网关架构，这对性能优化、成本管理、运维监控、故障排查都带来了诸多挑战。因此，统一多层网关架构成了基础架构、运维、开发等团队均会关注的趋势和架构演进选项。 基于此，我们结合阿里自身的网关架构统一实践、服务云上企业客户升级网关架构的经验，开发了这套《统一多层网关架构系列视频教程》，通过该课程，您将体系化了解应用网关的发展趋势和最佳实践。课程配套资料或...

编者按：云原生 API 网关系列教程即将推出，欢迎文末查看教程内容。本文整理自阿里云智能集团资深技术专家，云原生产品线中间件负责人谢吉宝（唐三）的精彩分享。讲师深入浅出的分享了软件架构演进过程中，网关所扮演的各类角色，AI 应用的流量新特征对软件架构和网关所提出的新诉求，以及基于阿里自身实践所带来的开源贡献和商业能力。通过本文，您将收获： + 系统化了解软件架构的演进过程和由此产生的新的业务需求 + 由里及表的认知统一网关架构的优势 + 通义 APP、模型服务灵积灵积、PAI、零一万物、震坤行在 AI 应用上构建网关的实践 一、软件架构的演进过程和新需求 演进历程 首先我们一起回...

作者：聪言 亲爱的开发者们： 我们激动地宣布，Nacos Python SDK——nacossdkpython1.0.0 稳定版正式发布啦！Nacos 从 0.8.0 版本开始就一直参与 Python 生态建设，努力作为 Python 生态中分布式微服务发现和配置管理的解决方案一直往前演进。目前随着 AI 领域的发展，Nacos 社区的 Python 开发者用户越来越多，因此这次我们迭代了 Python 的 GA 稳定版本，对不少历史问题做了修复以及易用性层面的各项兼容优化，帮助大家可以更好的在大模型时代落地自己的业务场景。 一、核心亮点 全面兼容性：支持 Python 2....

作者：程治玮，Higress Reviewer，目前在 SAP 从事可观测性相关工作 一、前言 什么是 AI Gateway AI Gateway 的定义是 AI Native 的 API Gateway，是基于 API Gateway 的能⼒来满⾜ AI Native 的需求。例如： + 将传统的 QPS 限流扩展到 token 限流。 + 将传统的负载均衡/重试/fallback 能力延伸，支持对接多个大模型厂商 API，提高整体稳定性。 + 扩展可观测能力，支持不同模型之间效果的对比 A/B Test，以及对话上下⽂链路 Tracing 等。 Higress 是阿⾥云开源...

一、前言什么是 Prompt Engingering提示工程（Prompt Engingering），也被称为上下文提示（InContext Prompting），指的是通过结构化文本等方式来完善提示词，引导LLM输出我们期望的结果。通过提示词工程可以在不更新模型权重的情况下，让LLM完成不同类型的任务。面对同样一个问题，为LLM设置不同的提示词，能够得到不同的回答结果。我们可以通过对Prompt的优化提升LLM的回答精度。例如：点击图片可查看完整电子表格什么是 AI GatewayAI Gateway的定义是AI Native的API Gateway，是基于API Gateway的能⼒来满...

作者：问思、望宸网关承载了业务开发和后端运维的诸多需求，例如路由管理、流量调度、API 管理、入口安全管理等，另外网关侧也需要结合服务治理来保障全链路的稳定性。这就造成了大部分企业采用多层网关架构，对性能优化、成本管理、运维监控、故障排查都带来了诸多挑战。因此，多层网关的统一成了基础架构、运维、开发等团队均会关注的趋势和架构演进选项。 本文整理自阿里云云原生 API 网关的公测直播，分享了作为一款全能型网关【云原生 API 网关】是如何帮助企业落地统一网关架构的。 一、应用网关的发展历程与未来趋势 随着应用架构的演进，对应用入口模块的要求也在不断变化。上世纪90年代初尚处于 Web 1...

作者：邢云阳，Higress Contributor 一、前言 什么是 AI Agent 随着大模型技术的快速发展，越来越多的公司在实际业务中落地了大模型应用。但是人们逐渐发现了大模型能力的不足。例如：由于大模型的训练数据是有限的，因此一些垂直领域的知识，如金融，医疗等等，大模型无法回答，或者容易出现幻觉。并且随着业务的复杂度提高，如何能让大模型像人一样思考，深度的分析解决问题，也对大模型的理解力提出了挑战。在这样的背景下，业界提出了AI Agent的概念。AI Agent中文翻译成智能体，旨在让大模型像人脑一样思考问题，通过在思考过程中的不断反馈以及工具的调用，最终实现逐步完成...

作者澄潭、望宸一、前言网关在网络通信中扮演着诸多角色，包括数据转发、协议转化、负载均衡、访问控制和身份验证、安全防护、内容审核，以及服务和 API 颗粒度的管控等，因此常见的网关种类有流量网关、安全网关、微服务网关、API 网关等。在不同语义下，网关的命名也会有所不同，例如 K8s 体系下，有 ingress 网关，在 Sping 体系下，有 Spring Cloud Gateway。但不论如何命名，网关的管控内容几乎都离不开流量、服务、安全和 API 这 4 个维度，只是功能侧重不同、所遵循的协议有差异。另外，随着互联网从 Web 2.0 迈进到 AI 时代，用户和互联网的交互方式，AI ...

作者介绍：韦鑫 (WeixinX)导读：本文将和大家一同回顾 Spring Cloud Gateway 是如何满足 HTTP 请求/响应转换需求场景的，并为大家介绍在这种场景下使用 Higress 云原生网关的解决方案，同时还对比了两者的性能差异。 一、SCG 修改请求/响应 在 Spring Cloud Gateway[1](以下简称为 SCG) 中，当我们需要对 HTTP 请求或响应进行修改时，SCG 提供了许多内置的 GatewayFilter[2]来满足我们对这种应用场景的需求，例如 AddRequestHeader,AddRequestParameter, DedupeResp...