Blog Background
社区 / 博客
博客
全部文章 技术文章 生态文章 最佳实践 社区活动
热联集团:从 APISIX 迁移到云原生网关
_作者:金峰(项良)、朱永林、赵世振(寰奕)_ 一、公司简介 杭州热联集团股份有限公司成立于 1997 年 10 月,是隶属杭州市实业投资集团的国有控股公司。公司专业从事国际、国内钢铁贸易黑色大宗商品及产业服务,业务品种涵盖钢铁原料、钢铁产品及以铜为主的有色金属等。 2023 年,热联集团实现销售总量 9634 万吨,销售收入 2555 亿元,业绩增长 50%。 20162023 年,公司连续八年蝉联中国钢贸企业百强榜综合榜前三。入选国务院国资委“双百行动”企业名单,以及浙江省政府“凤凰计划”名单,被列入浙江省首批内外贸一体化“领跑者”培育企业。 目前热联集团的网点建设遍布国内...
CH3CHO | 2024-11-12
热联集团:从 APISIX 迁移到云原生网关
应用网关的演进历程和分类
唯一不变的是变化,在现代复杂的商业环境中,企业的业务形态与规模往往处于不断变化和扩大之中。这种动态发展对企业的信息系统提出了更高的要求,特别是在软件架构方面。为了应对不断变化的市场需求和业务扩展,软件架构必须进行相应的演进和优化。网关作为互联网流量的入口,其形态也在跟随软件架构持续演进迭代中。我们下面就聊一聊网关的演进历程以及在时下火热的AI浪潮下,网关又会迸发怎样新的形态。 网关演进形态概览 软件架构的演进是一个不断适应技术发展和业务需求变化的过程,伴随着软件架构的演进网关的形态也在随之持续迭代,在不同软件架构阶段中网关也呈现其不同的形态。 软件架构的演进是技术发展和业务需求不断推...
CH3CHO | 2024-11-06
应用网关的演进历程和分类
上新|统一多层网关架构系列视频课程
网关承载了业务开发和后端运维的诸多需求,例如路由管理、流量调度、API 管理、入口安全管理等,另外网关侧也需要结合服务治理来保障全链路的稳定性,针对大模型场景,还有例如模型重试&切换、token 配额管理&限流等新需求,这就造成了大部分企业采用多层网关架构,这对性能优化、成本管理、运维监控、故障排查都带来了诸多挑战。因此,统一多层网关架构成了基础架构、运维、开发等团队均会关注的趋势和架构演进选项。 基于此,我们结合阿里自身的网关架构统一实践、服务云上企业客户升级网关架构的经验,开发了这套《统一多层网关架构系列视频教程》,通过该课程,您将体系化了解应用网关的发展趋势和最佳实践。课程配套资料或服...
CH3CHO | 2024-10-23
上新|统一多层网关架构系列视频课程
AI 时代,网关的发展趋势和实践
编者按:云原生 API 网关系列教程即将推出,欢迎文末查看教程内容。本文整理自阿里云智能集团资深技术专家,云原生产品线中间件负责人谢吉宝(唐三)的精彩分享。讲师深入浅出的分享了软件架构演进过程中,网关所扮演的各类角色,AI 应用的流量新特征对软件架构和网关所提出的新诉求,以及基于阿里自身实践所带来的开源贡献和商业能力。通过本文,您将收获: + 系统化了解软件架构的演进过程和由此产生的新的业务需求 + 由里及表的认知统一网关架构的优势 + 通义 APP、模型服务灵积灵积、PAI、零一万物、震坤行在 AI 应用上构建网关的实践 一、软件架构的演进过程和新需求 演进历程 首先我们一起回顾...
CH3CHO | 2024-10-16
AI 时代,网关的发展趋势和实践
Nacos Python SDK 强势来袭,动态管理大模型 Prompt!
作者:聪言 亲爱的开发者们: 我们激动地宣布,Nacos Python SDK——nacossdkpython1.0.0 稳定版正式发布啦!Nacos 从 0.8.0 版本开始就一直参与 Python 生态建设,努力作为 Python 生态中分布式微服务发现和配置管理的解决方案一直往前演进。目前随着 AI 领域的发展,Nacos 社区的 Python 开发者用户越来越多,因此这次我们迭代了 Python 的 GA 稳定版本,对不少历史问题做了修复以及易用性层面的各项兼容优化,帮助大家可以更好的在大模型时代落地自己的业务场景。 一、核心亮点 全面兼容性:支持 Python 2.7、3...
CH3CHO | 2024-09-27
Nacos Python SDK 强势来袭,动态管理大模型 Prompt!
基于 Higress 解锁通义千问更多玩法
作者:程治玮,Higress Reviewer,目前在 SAP 从事可观测性相关工作 一、前言 什么是 AI Gateway AI Gateway 的定义是 AI Native 的 API Gateway,是基于 API Gateway 的能⼒来满⾜ AI Native 的需求。例如: + 将传统的 QPS 限流扩展到 token 限流。 + 将传统的负载均衡/重试/fallback 能力延伸,支持对接多个大模型厂商 API,提高整体稳定性。 + 扩展可观测能力,支持不同模型之间效果的对比 A/B Test,以及对话上下⽂链路 Tracing 等。 Higress 是阿⾥云开源的...
CH3CHO | 2024-09-19
基于 Higress 解锁通义千问更多玩法
GeoIP 结合 Prompt 赋能 LLM:基于 AI 网关实现个性化与精确化问答
一、前言什么是 Prompt Engingering提示工程(Prompt Engingering),也被称为上下文提示(InContext Prompting),指的是通过结构化文本等方式来完善提示词,引导LLM输出我们期望的结果。通过提示词工程可以在不更新模型权重的情况下,让LLM完成不同类型的任务。面对同样一个问题,为LLM设置不同的提示词,能够得到不同的回答结果。我们可以通过对Prompt的优化提升LLM的回答精度。例如:点击图片可查看完整电子表格什么是 AI GatewayAI Gateway的定义是AI Native的API Gateway,是基于API Gateway的能⼒来满⾜...
CH3CHO | 2024-08-28
GeoIP 结合 Prompt 赋能 LLM:基于 AI 网关实现个性化与精确化问答
多层网关统一成趋势,如何构建全能型网关
作者:问思、望宸网关承载了业务开发和后端运维的诸多需求,例如路由管理、流量调度、API 管理、入口安全管理等,另外网关侧也需要结合服务治理来保障全链路的稳定性。这就造成了大部分企业采用多层网关架构,对性能优化、成本管理、运维监控、故障排查都带来了诸多挑战。因此,多层网关的统一成了基础架构、运维、开发等团队均会关注的趋势和架构演进选项。 本文整理自阿里云云原生 API 网关的公测直播,分享了作为一款全能型网关【云原生 API 网关】是如何帮助企业落地统一网关架构的。 一、应用网关的发展历程与未来趋势 随着应用架构的演进,对应用入口模块的要求也在不断变化。上世纪90年代初尚处于 Web 1....
CH3CHO | 2024-08-19
多层网关统一成趋势,如何构建全能型网关
API赋能AI,AI网关零代码解决AI幻觉问题
作者:邢云阳,Higress Contributor 一、前言 什么是 AI Agent 随着大模型技术的快速发展,越来越多的公司在实际业务中落地了大模型应用。但是人们逐渐发现了大模型能力的不足。例如:由于大模型的训练数据是有限的,因此一些垂直领域的知识,如金融,医疗等等,大模型无法回答,或者容易出现幻觉。并且随着业务的复杂度提高,如何能让大模型像人一样思考,深度的分析解决问题,也对大模型的理解力提出了挑战。在这样的背景下,业界提出了AI Agent的概念。AI Agent中文翻译成智能体,旨在让大模型像人脑一样思考问题,通过在思考过程中的不断反馈以及工具的调用,最终实现逐步完成给...
CH3CHO | 2024-08-19
API赋能AI,AI网关零代码解决AI幻觉问题
回归本质|我们梳理了 LLM 场景下,网关的业务需求和使用场景
作者澄潭、望宸一、前言网关在网络通信中扮演着诸多角色,包括数据转发、协议转化、负载均衡、访问控制和身份验证、安全防护、内容审核,以及服务和 API 颗粒度的管控等,因此常见的网关种类有流量网关、安全网关、微服务网关、API 网关等。在不同语义下,网关的命名也会有所不同,例如 K8s 体系下,有 ingress 网关,在 Sping 体系下,有 Spring Cloud Gateway。但不论如何命名,网关的管控内容几乎都离不开流量、服务、安全和 API 这 4 个维度,只是功能侧重不同、所遵循的协议有差异。另外,随着互联网从 Web 2.0 迈进到 AI 时代,用户和互联网的交互方式,AI 时...
王晨, 张添翼 | 2024-08-15
回归本质|我们梳理了 LLM 场景下,网关的业务需求和使用场景
第 11 页 / 共 16 页