August 28, 2024
GeoIP 结合 Prompt 赋能 LLM:基 于 AI 网关实现个性化与精确化问答
一、前言什么是 Prompt Engingering提示工程(Prompt Engingering),也被称为上下文提示(InContext Prompting),指的是通过结构化文本等方式来完善提示词,引导LLM输出我们期望的结果。通过提示词工程可以在不更新模型权重的情况下,让LLM完成不同类型的任务。面对同样一个问题,为LLM设置不同的提示词,能够得到不同的回答结果。我们可以通过对Prompt的优化提升LLM的回答精度。例如:点击图片可查看完整电子表格什么是 AI GatewayAI Gateway的定义是AI Native的API Gateway,是基于API Gateway的能⼒来满...
August 27, 2024
Nacos Python SDK 强势来袭,动态管理大模型 Prompt!
作者:聪言
亲爱的开发者们:我们激动地宣布,Nacos Python SDK——nacossdkpython1.0.0 稳定版正式发布啦!Nacos 从 0.8.0 版本开始就一直参与 Python 生态建设,努力作为 Python 生态中分布式微服务发现和配置管理的解决方案一直往前演进。目前随着 AI 领域的发展,Nacos 社区的 Python 开发者用户越来越多,因此这次我们迭代了 Python 的 GA 稳定版本,对不少历史问题做了修复以及易用性层面的各项兼容优化,帮助大家可以更好的在大模型时代落地自己的业务场景。
一、核心亮点
全面兼容性:支持 Python 2.7、3....
August 19, 2024
多层网关统一成趋势,如何构建全能型网关
作者:问思、望宸网关承载了业务开发和后端运维的诸多需求,例如路由管理、流量调度、API 管理、入口安全管理等,另外网关侧也需要结合服务治理来保障全链路的稳定性。这就造成了大部分企业采用多层网关架构,对性能优化、成本管理、运维监控、故障排查都带来了诸多挑战。因此,多层网关的统一成了基础架构、运维、开发等团队均会关注的趋势和架构演进选项。
本文整理自阿里云云原生 API 网关的公测直播,分享了作为一款全能型网关【云原生 API 网关】是如何帮助企业落地统一网关架构的。
一、应用网关的发展历程与未来趋势
随着应用架构的演进,对应用入口模块的要求也在不断变化。上世纪90年代初尚处于 Web 1...
August 19, 2024
API赋能AI,AI网关零代码解决AI幻觉问题
作者:邢云阳,Higress Contributor
一、前言
什么是 AI Agent
随着大模型技术的快速发展,越来越多的公司在实际业务中落地了大模型应用。但是人们逐渐发现了大模型能力的不足。例如:由于大模型的训练数据是有限的,因此一些垂直领域的知识,如金融,医疗等等,大模型无法回答,或者容易出现幻觉。并且随着业务的复杂度提高,如何能让大模型像人一样思考,深度的分析解决问题,也对大模型的理解力提出了挑战。在这样的背景下,业界提出了AI Agent的概念。AI Agent中文翻译成智能体,旨在让大模型像人脑一样思考问题,通过在思考过程中的不断反馈以及工具的调用,最终实现逐步完成...
August 15, 2024
回归本质|我们梳理了 LLM 场景下,网关的业务需求和使用场景
作者澄潭、望宸一、前言网关在网络通信中扮演着诸多角色,包括数据转发、协议转化、负载均衡、访问控制和身份验证、安全防护、内容审核,以及服务和 API 颗粒度的管控等,因此常见的网关种类有流量网关、安全网关、微服务网关、API 网关等。在不同语义下,网关的命名也会有所不同,例如 K8s 体系下,有 ingress 网关,在 Sping 体系下,有 Spring Cloud Gateway。但不论如何命名,网关的管控内容几乎都离不开流量、服务、安全和 API 这 4 个维度,只是功能侧重不同、所遵循的协议有差异。另外,随着互联网从 Web 2.0 迈进到 AI 时代,用户和互联网的交互方式,AI ...
August 12, 2024
Wasm 实现 Higress 扩展,性能是 Spring Cloud Gateway 的 3 倍!
作者介绍:韦鑫 (WeixinX)导读:本文将和大家一同回顾 Spring Cloud Gateway 是如何满足 HTTP 请求/响应转换需求场景的,并为大家介绍在这种场景下使用 Higress 云原生网关的解决方案,同时还对比了两者的性能差异。
一、SCG 修改请求/响应
在 Spring Cloud Gateway[1](以下简称为 SCG) 中,当我们需要对 HTTP 请求或响应进行修改时,SCG 提供了许多内置的 GatewayFilter[2]来满足我们对这种应用场景的需求,例如 AddRequestHeader,AddRequestParameter, DedupeResp...
August 12, 2024
利用通义灵码实现我的第一次开源贡献
作者介绍:重庆邮电大学计算机学院李逸雄
一、结缘开源
最早了解开源是从学校的兴趣组织开始的。2023 年 10 月 21 日,openSUSE 亚洲峰会在我们学校召开,这次会议汇聚了许多来自 openSUSE 社区贡献者以及对开源感兴趣的爱好者们。我第一次知道有这么多志同道合的爱好者在进行开源贡献,他们以个人兴趣为驱动力共同维护着一个社区。这次峰会激发了我对开源社区的兴趣,一颗种子也开始从我心中发芽——我也想要做一次开源贡献!2024 年 6 月 24 日,我上完课准备回宿舍,刚好在必经之路上看到“2024天池云原生编程挑战赛”的宣传海报。我一看居然是阿里云举办的,回到宿舍后就立马...
August 12, 2024
Higress全新Wasm运行时,性能大幅提升
本文作者澄潭, 阿里云API网关软件工程师,Higress开源项目主要贡献者何良, Intel Web Platform Engineering软件工程师, WAMR开源项目主要贡献者
本文介绍Higress将Wasm插件的运行时从V8切换到WebAssembly Micro Runtime (WAMR)的最新进展。通过切换到WAMR并开启AOT模式大幅提升了Wasm插件性能,从我们的测试中大部分插件平均有50%左右的性能提升,一些逻辑复杂的插件性能直接翻倍。
Higress Wasm插件
Higress作为首个推出Wasm扩展能力的云产品网关,从2022年就上线了Wasm插件市场,...
August 12, 2024
Higress 开源后,我们整理了开发者最关心的 15 个问题
云原生架构下,网关承载着流量管理、服务调用、安全管理等多重职能,在稳定性、性能、安全性、易用性上存在着更高的要求。在 CNCF Landscpae 编排和管理的 API Gateway 领域中,已经有不少开源的网关选择,开发者们也有着不小的选型诉求。云原生网关 Higress 开源后,引起了开发者们的热烈讨论,我们整理了大家在 GitHub、钉群、微信群讨论的问题,并将回答汇总如下,方便各位更准确的读懂 Higress,也非常欢迎您和我们一起共建、定义 Higress。Q1:Higress 现在适合上生产系统么?A1:推荐发布 GA(General Availability)版本后再上生产,...