作者：望宸、澄潭 大模型主战场从训练转向推理，已经成为业内共识。越来越多的公司已经开始设计符满足企业内部需求和外部商业方向的大模型应用，并在生产环境中进行部署。这个过程中，我们遇到了一系列新的需求，这些需求与最初的大模型应用在 “概念验证阶段” 有所不同。这些新需求更多地源于对规模化和安全使用，其中，AI 网关成为被讨论较多的 AI 基础设施关键组件之一。 我们认为 AI 网关并不是独立于 API 网关的新形态，本质也是一种 API 网关，区别在于针对 AI 场景的新需求专门做了扩展，它既是 API 网关的继承，也是 API 网关的演进。因此我们从 API 视角，对 AI 网关的...

国外 up 主让 DeepSeek 跟 ChatGPT 下了一把国际象棋，DeepSeek 借助“孙子兵法”，让 ChatGPT 在优势局面下，直接认输： 如果让两个 AI 在中国象棋上对弈一把，效果会如何呢？话不多说，让我们直接来看看效果： 相比传统基于搜索算法等棋类 AI，至少目前看大模型没有太多优势。不过相比传统 AI，因为大模型可以输出一些聊天对话，会让棋局变得更有趣味性。 如果你对此感兴趣，可以看看下方的实现原理，在你自己的电脑上复现一把。 对弈实现原理 首先找了一个开源的基于终端命令行输出的象棋对弈程序： 因为是基于终端命令行的，棋局也很方便通...

作者：梧同、望宸 背景 目前，和 DeepSeek 相关的需求总结为两类： + 因官方 APP/Web 服务经常无法返回结果，各类云厂商、硬件或软件企业提供满血版或蒸馏版的 API + 算力服务，还有不少基于开源+家用计算和存储设备的本地部署方案，以分担 DeepSeek 官方的服务压力。 + 各行各业开始调用 DeepSeek API 来设计大模型应用，服务于企业内外部，关注应用的构建效率和稳定性。 此前，我们已经针对以上的第一点需求，发布了不少云端和本地的部署；本篇文章，将针对第二点需求，谈谈流量管理层的工程化方案。 DeepSeek 部署 由于 DeepSeek 开源...

作者：泮圣伟（十眠） API 是连接数字生态系统中各应用的桥梁，是提升企业效率和数字化体验的关键。而 API First 开发模式的核心在于：以 API 为先，将其视为“头等公民”，在构建应用、服务及集成之前，应优先定义并设计 API 及其配套。API First 作为一种相对较新的开发模式，它已逐渐流行并获得业内的广泛认可。尤其是在微服务架构中，随着微服务的持续拆分，API 的数量呈指数级增长，API First 方法的优势与其重要性愈发突出。 什么是API First？ API First 是一种开发模式，它优先于构建应用程序的其他组件，专注于 API 的创建和使用。这意味着首...

作者：望宸 大模型性能的持续提升，进一步挖掘了 RAG 的潜力，突破“检索拼贴”的原始范式。 详见下方“RAG 的定义、优势和常见架构” 这张图近期在国外社区传播比较多，结构化的描述了 RAG 的主流架构。RAG 用于提升大模型的生成效果，使得大模型更加智能，而持续提升的大模型语义和逻辑推理能力，又能更加精准的识别和应用专业知识库。本文将梳理 RAG 的基本信息，旨在获得更加清晰的理解。 目录 + 为什么需要 RAG + RAG 的定义、优势和常见架构 + 还有哪些方式，可以提升大模型的生成结果 + RAG 实践 为什么需要 RAG？ 早期，大模型在进行训练的...

作者：望宸 随着 DeepSeek R1 和 Qwen2.5Max 的发布，国内大模型推理需求激增，性能提升的主战场将从训练转移到推理。 由于无论是训练还是推理，如何提升性能都是业内讨论最多的话题之一。为什么是性能呢？做过在线业务工程化的人都知道，性能的提升，直接带来的效果有两个： + 计算资源成本的下降，更便宜 + 客户端体验的提升，内容生成更快 在大模型消耗计算资源多、客户端内容流式生成的场景下，性能显得尤为重要。。 推理性能的提升涉及底层硬件、模型层，以及其他各个软件中间件层的相互协同，因此了解大模型技术架构的全局视角，有助于我们对推理性能的优化方案进行评估和选型...

作者：望宸 因为实时通信已经成了大模型应用的标配。 我们先简单明了的给出了回答，然后再一起重新认识下这两位新时代里的老朋友。 目录 + SSE 和 WebSocket 是什么？ + 大模型应用出现前的主流网络通信协议是什么？ + 为什么大模型应用没有沿用 Web 类应用的主流通信协议？ + 为什么 SSE 和 WebSocket 更适合支持大模型应用？ + 实时通信协议的技术挑战和应对方案 + What's Next？ SSE 和 WebSocket 是什么？ SSE（ServerSent Events，服务器推送事件）是一种基于 HTTP 的网络通信协议，允许服...

事情经过 OneAPI 是在开源代码托管平台 GitHub 上拥有 2万 Star 的 AI 网关工具，该工具的用户发现安装最新版本镜像后，会固定消耗一定比例的 CPU： 最终定位是 DockerHub 的镜像被投毒，向镜像植入了 XMR 门罗币挖矿脚本，导致 CPU 跑高： 目前可以确认是 DockerHub 的推送密钥泄漏，导致黑客向多个镜像版本植入了挖矿脚本： 因为加密货币行情的火热，近年来挖矿脚本相关的安全事件也呈不断上升趋势，黑客会找一些流行开源项目的 DockerHub 仓库进行攻破。 Palo Alto Network 的安全研究员 Aviv S...

背景 1 月 20 日晚，DeepSeek（深度求索）公司发布推理模型 DeepSeekR1 正式版，同步开源模型权重，并允许用户利用模型输出、通过模型蒸馏等方式训练其他模型。网友热评：这，才是真正的OpenAI。能力相当于一个月 200 美元的 ChatGPT o1 版本，却完全免费。 同时 DeepSeek 也开放了对应的 API 调用方式，过去依赖 OpenAI 的业务，可以考虑直接迁移到 DeepSeek，节省大量成本。 而 Higress 作为一款开源的 AI 网关工具，可以提供基于灰度+观测的平滑迁移方案： 快速安装 Higress 仅需一行命令，即可快速在本地搭建...