作者：望宸 大模型性能的持续提升，进一步挖掘了 RAG 的潜力，突破“检索拼贴”的原始范式。 详见下方“RAG 的定义、优势和常见架构” 这张图近期在国外社区传播比较多，结构化的描述了 RAG 的主流架构。RAG 用于提升大模型的生成效果，使得大模型更加智能，而持续提升的大模型语义和逻辑推理能力，又能更加精准的识别和应用专业知识库。本文将梳理 RAG 的基本信息，旨在获得更加清晰的理解。 目录 + 为什么需要 RAG + RAG 的定义、优势和常见架构 + 还有哪些方式，可以提升大模型的生成结果 + RAG 实践 为什么需要 RAG？ 早期，大模型在进行训练的...

作者：望宸 随着 DeepSeek R1 和 Qwen2.5Max 的发布，国内大模型推理需求激增，性能提升的主战场将从训练转移到推理。 由于无论是训练还是推理，如何提升性能都是业内讨论最多的话题之一。为什么是性能呢？做过在线业务工程化的人都知道，性能的提升，直接带来的效果有两个： + 计算资源成本的下降，更便宜 + 客户端体验的提升，内容生成更快 在大模型消耗计算资源多、客户端内容流式生成的场景下，性能显得尤为重要。。 推理性能的提升涉及底层硬件、模型层，以及其他各个软件中间件层的相互协同，因此了解大模型技术架构的全局视角，有助于我们对推理性能的优化方案进行评估和选型...

作者：望宸 因为实时通信已经成了大模型应用的标配。 我们先简单明了的给出了回答，然后再一起重新认识下这两位新时代里的老朋友。 目录 + SSE 和 WebSocket 是什么？ + 大模型应用出现前的主流网络通信协议是什么？ + 为什么大模型应用没有沿用 Web 类应用的主流通信协议？ + 为什么 SSE 和 WebSocket 更适合支持大模型应用？ + 实时通信协议的技术挑战和应对方案 + What's Next？ SSE 和 WebSocket 是什么？ SSE（ServerSent Events，服务器推送事件）是一种基于 HTTP 的网络通信协议，允许服...

事情经过 OneAPI 是在开源代码托管平台 GitHub 上拥有 2万 Star 的 AI 网关工具，该工具的用户发现安装最新版本镜像后，会固定消耗一定比例的 CPU： 最终定位是 DockerHub 的镜像被投毒，向镜像植入了 XMR 门罗币挖矿脚本，导致 CPU 跑高： 目前可以确认是 DockerHub 的推送密钥泄漏，导致黑客向多个镜像版本植入了挖矿脚本： 因为加密货币行情的火热，近年来挖矿脚本相关的安全事件也呈不断上升趋势，黑客会找一些流行开源项目的 DockerHub 仓库进行攻破。 Palo Alto Network 的安全研究员 Aviv S...

问题背景 在大部分基于 Envoy 实现的网关里，都存在这样一个问题，当开启 http2 时，客户端访问会出现偶发的 404，并且可以从日志注意到这些 404 的请求，:authority 头里的域名和 SNI 里的域名不一致。 且在使用泛域名证书，且配置了多个域名的路由的情况下，这个问题特别容易出现。 问题相关的社区 issue： 问题成因 为什么 :authority 头和 SNI 不一致 这个问题涉及到客户端的连接复用机制，对于 http2 来说，连接多路复用的能力是对比 http1 的一个核心差异。特别是对于浏览器场景，尽可能的连接复用，可以在开启 TLS 的...

11 月 08 日，云原生开源开发者沙龙丨AI 应用工程化专场在杭州顺利举办。现场座无虚席，阿里云一线工程师围绕《构建面向 AI 应用可观测能力》、《Java 开发者如何玩转 AI》、《事件驱动构建 AI 原生应用》、《智启未来：通过 AI 网关快速构建智能应用》4 个当下热门议题深入分享，讲师们的精彩演讲引发了现场开发者的强烈共鸣，并积极参与提问和讨论，现场互动氛围十分热烈。活动最后，现场开发者还通过实操环节进一步巩固了所学知识，整个活动充实而富有成效。点击文末阅读原文课可预约沙龙回放视频。 点击可免费获得杭州站讲师 PPT 合辑 一、精彩回顾 下面就让我们一起回顾本次活动上...

唯一不变的是变化，在现代复杂的商业环境中，企业的业务形态与规模往往处于不断变化和扩大之中。这种动态发展对企业的信息系统提出了更高的要求，特别是在软件架构方面。为了应对不断变化的市场需求和业务扩展，软件架构必须进行相应的演进和优化。网关作为互联网流量的入口，其形态也在跟随软件架构持续演进迭代中。我们下面就聊一聊网关的演进历程以及在时下火热的AI浪潮下，网关又会迸发怎样新的形态。 网关演进形态概览 软件架构的演进是一个不断适应技术发展和业务需求变化的过程，伴随着软件架构的演进网关的形态也在随之持续迭代，在不同软件架构阶段中网关也呈现其不同的形态。 软件架构的演进是技术发展和业务需求不断...

网关承载了业务开发和后端运维的诸多需求，例如路由管理、流量调度、API 管理、入口安全管理等，另外网关侧也需要结合服务治理来保障全链路的稳定性，针对大模型场景，还有例如模型重试&切换、token 配额管理&限流等新需求，这就造成了大部分企业采用多层网关架构，这对性能优化、成本管理、运维监控、故障排查都带来了诸多挑战。因此，统一多层网关架构成了基础架构、运维、开发等团队均会关注的趋势和架构演进选项。 基于此，我们结合阿里自身的网关架构统一实践、服务云上企业客户升级网关架构的经验，开发了这套《统一多层网关架构系列视频教程》，通过该课程，您将体系化了解应用网关的发展趋势和最佳实践。课程配套资料或...

编者按：云原生 API 网关系列教程即将推出，欢迎文末查看教程内容。本文整理自阿里云智能集团资深技术专家，云原生产品线中间件负责人谢吉宝（唐三）的精彩分享。讲师深入浅出的分享了软件架构演进过程中，网关所扮演的各类角色，AI 应用的流量新特征对软件架构和网关所提出的新诉求，以及基于阿里自身实践所带来的开源贡献和商业能力。通过本文，您将收获： + 系统化了解软件架构的演进过程和由此产生的新的业务需求 + 由里及表的认知统一网关架构的优势 + 通义 APP、模型服务灵积灵积、PAI、零一万物、震坤行在 AI 应用上构建网关的实践 一、软件架构的演进过程和新需求 演进历程 首先我们一起回...