November 12, 2024
活动回顾丨云原生开源开发者沙龙,AI 应用工程化专场
11 月 08 日,云原生开源开发者沙龙丨AI 应用工程化专场在杭州顺利举办。现场座无虚席,阿里云一线工程师围绕《构建面向 AI 应用可观测能力》、《Java 开发者如何玩转 AI》、《事件驱动构建 AI 原生应用》、《智启未来:通过 AI 网关快速构建智能应用》4 个当下热门议题深入分享,讲师们的精彩演讲引发了现场开发者的强烈共鸣,并积极参与提问和讨论,现场互动氛围十分热烈。活动最后,现场开发者还通过实操环节进一步巩固了所学知识,整个活动充实而富有成效。点击文末阅读原文课可预约沙龙回放视频。
点击可免费获得杭州站讲师 PPT 合辑
一、精彩回顾
下面就让我们一起回顾本次活动上...
November 6, 2024
应用网关的演进历程和分类
唯一不变的是变化,在现代复杂的商业环境中,企业的业务形态与规模往往处于不断变化和扩大之中。这种动态发展对企业的信息系统提出了更高的要求,特别是在软件架构方面。为了应对不断变化的市场需求和业务扩展,软件架构必须进行相应的演进和优化。网关作为互联网流量的入口,其形态也在跟随软件架构持续演进迭代中。我们下面就聊一聊网关的演进历程以及在时下火热的AI浪潮下,网关又会迸发怎样新的形态。
网关演进形态概览
软件架构的演进是一个不断适应技术发展和业务需求变化的过程,伴随着软件架构的演进网关的形态也在随之持续迭代,在不同软件架构阶段中网关也呈现其不同的形态。
软件架构的演进是技术发展和业务需求不断...
October 23, 2024
上新|统一多层网关架构系列视频课程
网关承载了业务开发和后端运维的诸多需求,例如路由管理、流量调度、API 管理、入口安全管理等,另外网关侧也需要结合服务治理来保障全链路的稳定性,针对大模型场景,还有例如模型重试&切换、token 配额管理&限流等新需求,这就造成了大部分企业采用多层网关架构,这对性能优化、成本管理、运维监控、故障排查都带来了诸多挑战。因此,统一多层网关架构成了基础架构、运维、开发等团队均会关注的趋势和架构演进选项。
基于此,我们结合阿里自身的网关架构统一实践、服务云上企业客户升级网关架构的经验,开发了这套《统一多层网关架构系列视频教程》,通过该课程,您将体系化了解应用网关的发展趋势和最佳实践。课程配套资料或...
October 16, 2024
AI 时代,网关的发展趋势和实践
编者按:云原生 API 网关系列教程即将推出,欢迎文末查看教程内容。本文整理自阿里云智能集团资深技术专家,云原生产品线中间件负责人谢吉宝(唐三)的精彩分享。讲师深入浅出的分享了软件架构演进过程中,网关所扮演的各类角色,AI 应用的流量新特征对软件架构和网关所提出的新诉求,以及基于阿里自身实践所带来的开源贡献和商业能力。通过本文,您将收获:
+ 系统化了解软件架构的演进过程和由此产生的新的业务需求
+ 由里及表的认知统一网关架构的优势
+ 通义 APP、模型服务灵积灵积、PAI、零一万物、震坤行在 AI 应用上构建网关的实践
一、软件架构的演进过程和新需求
演进历程
首先我们一起回...
August 28, 2024
GeoIP 结合 Prompt 赋能 LLM:基 于 AI 网关实现个性化与精确化问答
一、前言什么是 Prompt Engingering提示工程(Prompt Engingering),也被称为上下文提示(InContext Prompting),指的是通过结构化文本等方式来完善提示词,引导LLM输出我们期望的结果。通过提示词工程可以在不更新模型权重的情况下,让LLM完成不同类型的任务。面对同样一个问题,为LLM设置不同的提示词,能够得到不同的回答结果。我们可以通过对Prompt的优化提升LLM的回答精度。例如:点击图片可查看完整电子表格什么是 AI GatewayAI Gateway的定义是AI Native的API Gateway,是基于API Gateway的能⼒来满...
August 19, 2024
多层网关统一成趋势,如何构建全能型网关
作者:问思、望宸网关承载了业务开发和后端运维的诸多需求,例如路由管理、流量调度、API 管理、入口安全管理等,另外网关侧也需要结合服务治理来保障全链路的稳定性。这就造成了大部分企业采用多层网关架构,对性能优化、成本管理、运维监控、故障排查都带来了诸多挑战。因此,多层网关的统一成了基础架构、运维、开发等团队均会关注的趋势和架构演进选项。
本文整理自阿里云云原生 API 网关的公测直播,分享了作为一款全能型网关【云原生 API 网关】是如何帮助企业落地统一网关架构的。
一、应用网关的发展历程与未来趋势
随着应用架构的演进,对应用入口模块的要求也在不断变化。上世纪90年代初尚处于 Web 1...
August 19, 2024
API赋能AI,AI网关零代码解决AI幻觉问题
作者:邢云阳,Higress Contributor
一、前言
什么是 AI Agent
随着大模型技术的快速发展,越来越多的公司在实际业务中落地了大模型应用。但是人们逐渐发现了大模型能力的不足。例如:由于大模型的训练数据是有限的,因此一些垂直领域的知识,如金融,医疗等等,大模型无法回答,或者容易出现幻觉。并且随着业务的复杂度提高,如何能让大模型像人一样思考,深度的分析解决问题,也对大模型的理解力提出了挑战。在这样的背景下,业界提出了AI Agent的概念。AI Agent中文翻译成智能体,旨在让大模型像人脑一样思考问题,通过在思考过程中的不断反馈以及工具的调用,最终实现逐步完成...
August 12, 2024
Wasm 实现 Higress 扩展,性能是 Spring Cloud Gateway 的 3 倍!
作者介绍:韦鑫 (WeixinX)导读:本文将和大家一同回顾 Spring Cloud Gateway 是如何满足 HTTP 请求/响应转换需求场景的,并为大家介绍在这种场景下使用 Higress 云原生网关的解决方案,同时还对比了两者的性能差异。
一、SCG 修改请求/响应
在 Spring Cloud Gateway[1](以下简称为 SCG) 中,当我们需要对 HTTP 请求或响应进行修改时,SCG 提供了许多内置的 GatewayFilter[2]来满足我们对这种应用场景的需求,例如 AddRequestHeader,AddRequestParameter, DedupeResp...
August 12, 2024
Higress全新Wasm运行时,性能大幅提升
本文作者澄潭, 阿里云API网关软件工程师,Higress开源项目主要贡献者何良, Intel Web Platform Engineering软件工程师, WAMR开源项目主要贡献者
本文介绍Higress将Wasm插件的运行时从V8切换到WebAssembly Micro Runtime (WAMR)的最新进展。通过切换到WAMR并开启AOT模式大幅提升了Wasm插件性能,从我们的测试中大部分插件平均有50%左右的性能提升,一些逻辑复杂的插件性能直接翻倍。
Higress Wasm插件
Higress作为首个推出Wasm扩展能力的云产品网关,从2022年就上线了Wasm插件市场,...