October 23, 2024
上新|统一多层网关架构系列视频课程
网关承载了业务开发和后端运维的诸多需求,例如路由管理、流量调度、API 管理、入口安全管理等,另外网关侧也需要结合服务治理来保障全链路的稳定性,针对大模型场景,还有例如模型重试&切换、token 配额管理&限流等新需求,这就造成了大部分企业采用多层网关架构,这对性能优化、成本管理、运维监控、故障排查都带来了诸多挑战。因此,统一多层网关架构成了基础架构、运维、开发等团队均会关注的趋势和架构演进选项。
基于此,我们结合阿里自身的网关架构统一实践、服务云上企业客户升级网关架构的经验,开发了这套《统一多层网关架构系列视频教程》,通过该课程,您将体系化了解应用网关的发展趋势和最佳实践。课程配套资料或...
October 16, 2024
AI 时代,网关的发展趋势和实践
编者按:云原生 API 网关系列教程即将推出,欢迎文末查看教程内容。本文整理自阿里云智能集团资深技术专家,云原生产品线中间件负责人谢吉宝(唐三)的精彩分享。讲师深入浅出的分享了软件架构演进过程中,网关所扮演的各类角色,AI 应用的流量新特征对软件架构和网关所提出的新诉求,以及基于阿里自身实践所带来的开源贡献和商业能力。通过本文,您将收获:
+ 系统化了解软件架构的演进过程和由此产生的新的业务需求
+ 由里及表的认知统一网关架构的优势
+ 通义 APP、模型服务灵积灵积、PAI、零一万物、震坤行在 AI 应用上构建网关的实践
一、软件架构的演进过程和新需求
演进历程
首先我们一起回...
August 28, 2024
GeoIP 结合 Prompt 赋能 LLM:基 于 AI 网关实现个性化与精确化问答
一、前言什么是 Prompt Engingering提示工程(Prompt Engingering),也被称为上下文提示(InContext Prompting),指的是通过结构化文本等方式来完善提示词,引导LLM输出我们期望的结果。通过提示词工程可以在不更新模型权重的情况下,让LLM完成不同类型的任务。面对同样一个问题,为LLM设置不同的提示词,能够得到不同的回答结果。我们可以通过对Prompt的优化提升LLM的回答精度。例如:点击图片可查看完整电子表格什么是 AI GatewayAI Gateway的定义是AI Native的API Gateway,是基于API Gateway的能⼒来满...
August 19, 2024
多层网关统一成趋势,如何构建全能型网关
作者:问思、望宸网关承载了业务开发和后端运维的诸多需求,例如路由管理、流量调度、API 管理、入口安全管理等,另外网关侧也需要结合服务治理来保障全链路的稳定性。这就造成了大部分企业采用多层网关架构,对性能优化、成本管理、运维监控、故障排查都带来了诸多挑战。因此,多层网关的统一成了基础架构、运维、开发等团队均会关注的趋势和架构演进选项。
本文整理自阿里云云原生 API 网关的公测直播,分享了作为一款全能型网关【云原生 API 网关】是如何帮助企业落地统一网关架构的。
一、应用网关的发展历程与未来趋势
随着应用架构的演进,对应用入口模块的要求也在不断变化。上世纪90年代初尚处于 Web 1...
August 19, 2024
API赋能AI,AI网关零代码解决AI幻觉问题
作者:邢云阳,Higress Contributor
一、前言
什么是 AI Agent
随着大模型技术的快速发展,越来越多的公司在实际业务中落地了大模型应用。但是人们逐渐发现了大模型能力的不足。例如:由于大模型的训练数据是有限的,因此一些垂直领域的知识,如金融,医疗等等,大模型无法回答,或者容易出现幻觉。并且随着业务的复杂度提高,如何能让大模型像人一样思考,深度的分析解决问题,也对大模型的理解力提出了挑战。在这样的背景下,业界提出了AI Agent的概念。AI Agent中文翻译成智能体,旨在让大模型像人脑一样思考问题,通过在思考过程中的不断反馈以及工具的调用,最终实现逐步完成...
August 12, 2024
Wasm 实现 Higress 扩展,性能是 Spring Cloud Gateway 的 3 倍!
作者介绍:韦鑫 (WeixinX)导读:本文将和大家一同回顾 Spring Cloud Gateway 是如何满足 HTTP 请求/响应转换需求场景的,并为大家介绍在这种场景下使用 Higress 云原生网关的解决方案,同时还对比了两者的性能差异。
一、SCG 修改请求/响应
在 Spring Cloud Gateway[1](以下简称为 SCG) 中,当我们需要对 HTTP 请求或响应进行修改时,SCG 提供了许多内置的 GatewayFilter[2]来满足我们对这种应用场景的需求,例如 AddRequestHeader,AddRequestParameter, DedupeResp...
August 12, 2024
Higress全新Wasm运行时,性能大幅提升
本文作者澄潭, 阿里云API网关软件工程师,Higress开源项目主要贡献者何良, Intel Web Platform Engineering软件工程师, WAMR开源项目主要贡献者
本文介绍Higress将Wasm插件的运行时从V8切换到WebAssembly Micro Runtime (WAMR)的最新进展。通过切换到WAMR并开启AOT模式大幅提升了Wasm插件性能,从我们的测试中大部分插件平均有50%左右的性能提升,一些逻辑复杂的插件性能直接翻倍。
Higress Wasm插件
Higress作为首个推出Wasm扩展能力的云产品网关,从2022年就上线了Wasm插件市场,...
August 12, 2024
Higress 开源后,我们整理了开发者最关心的 15 个问题
云原生架构下,网关承载着流量管理、服务调用、安全管理等多重职能,在稳定性、性能、安全性、易用性上存在着更高的要求。在 CNCF Landscpae 编排和管理的 API Gateway 领域中,已经有不少开源的网关选择,开发者们也有着不小的选型诉求。云原生网关 Higress 开源后,引起了开发者们的热烈讨论,我们整理了大家在 GitHub、钉群、微信群讨论的问题,并将回答汇总如下,方便各位更准确的读懂 Higress,也非常欢迎您和我们一起共建、定义 Higress。Q1:Higress 现在适合上生产系统么?A1:推荐发布 GA(General Availability)版本后再上生产,...
August 12, 2024
Higress + Nacos 微服务网关最佳实践
一、前言
在去年11月的云栖大会上,我们开源了云原生网关 Higress,时隔 2 月,Higress 的 Github 项目(https://github.com/alibaba/higress)已经收获了 700+ star,以及大量社区小伙伴的关注。在社区的交流中我们发现有不少微服务开发者在使用如 Spring Cloud Gateway/Zuul 等微服务网关对接 Nacos 注册中心实现微服务的路由,并且希望了解迁移到 Higress 网关能带来哪些好处。 本文将介绍 Higress 组合 Nacos 作为微服务网关能力,并介绍微服务网关发展的两个趋势,为网关的选型指明道路:
...