一、开源LLM的新纪元：DeepSeek带来的技术平权 随着DeepSeek等高质量开源大模型的涌现，企业自建智能问答系统的成本已降低90%以上。基于7B/13B参数量的模型在常规GPU服务器上即可获得商业级响应效果，配合Higress开源AI网关的增强能力，开发者可快速构建具备实时联网搜索能力的智能问答系统。 二、Higress：零代码增强LLM的瑞士军刀 Higress作为云原生API网关，通过wasm插件提供开箱即用的AI增强能力： 主要能力矩阵： 联网搜索：实时接入互联网最新信息 智能路由：多模型负载均衡与自动兜底 安全防护：敏感词过滤与注入攻击防御 效能...

作者：梧同、望宸 背景 目前，和 DeepSeek 相关的需求总结为两类： + 因官方 APP/Web 服务经常无法返回结果，各类云厂商、硬件或软件企业提供满血版或蒸馏版的 API + 算力服务，还有不少基于开源+家用计算和存储设备的本地部署方案，以分担 DeepSeek 官方的服务压力。 + 各行各业开始调用 DeepSeek API 来设计大模型应用，服务于企业内外部，关注应用的构建效率和稳定性。 此前，我们已经针对以上的第一点需求，发布了不少云端和本地的部署；本篇文章，将针对第二点需求，谈谈流量管理层的工程化方案。 DeepSeek 部署 由于 DeepSeek 开源...

作者：泮圣伟（十眠） API 是连接数字生态系统中各应用的桥梁，是提升企业效率和数字化体验的关键。而 API First 开发模式的核心在于：以 API 为先，将其视为“头等公民”，在构建应用、服务及集成之前，应优先定义并设计 API 及其配套。API First 作为一种相对较新的开发模式，它已逐渐流行并获得业内的广泛认可。尤其是在微服务架构中，随着微服务的持续拆分，API 的数量呈指数级增长，API First 方法的优势与其重要性愈发突出。 什么是API First？ API First 是一种开发模式，它优先于构建应用程序的其他组件，专注于 API 的创建和使用。这意味着首...

背景 1 月 20 日晚，DeepSeek（深度求索）公司发布推理模型 DeepSeekR1 正式版，同步开源模型权重，并允许用户利用模型输出、通过模型蒸馏等方式训练其他模型。网友热评：这，才是真正的OpenAI。能力相当于一个月 200 美元的 ChatGPT o1 版本，却完全免费。 同时 DeepSeek 也开放了对应的 API 调用方式，过去依赖 OpenAI 的业务，可以考虑直接迁移到 DeepSeek，节省大量成本。 而 Higress 作为一款开源的 AI 网关工具，可以提供基于灰度+观测的平滑迁移方案： 快速安装 Higress 仅需一行命令，即可快速在本地搭建...

在数智化转型的大潮中，国泰产险以其前瞻性的视角，全面拥抱大模型技术，在外呼、客服、内容生成等多个业务场景中实现了大模型的深度应用。 一、引言 在数字化转型的浪潮中，国泰产险以其前瞻性的视角，全面拥抱大模型技术，在外呼、客服、内容生成等多个业务场景中实现了大模型的深度应用。通过引入阿里云云原生 API 网关，国泰产险不仅简化了大模型的接入复杂性，还有效提升了数据安全性和成本管控能力，成为保险行业数智化转型的典范。 二、背景 国泰财产保险有限责任公司（简称“国泰产险”）于 2008 年 8 月 28 日在上海创立。公司注册资本 26.3 亿元，在中国东南沿海和中西部地区多个省市设有分支机...

作者简介：政采云基础架构团队技术专家 朱海峰(片风) 业务网关项目背景 由于一些历史的背景，政采云平台在网关建设上遇到一些问题： + 容器网关配置较多，配置方式多样，运维压力较大 配置多是因为容器网关配置分为服务路由、搭建类路由、return/rewrite类路由不同类型的路由。微服务架构使得服务数目多，搭建类平台的技术方案导致子域名非常多，网关的配置复杂度就是MXN(M是服务个数，N是域名的个数)，比如子域名个数约400多，服务个数约500多，整个配置量约20w+；搭建类平台子域名单独定义根路径转发，每个页面的分发路径随意填写，导致网关的配置需要支持到每个搭建页面到路径的映射关...

作者：升学e网通研发部基建团队 公司介绍 杭州铭师堂，是一个致力于为人的全面发展而服务的在线教育品牌。杭州铭师堂秉持“用互联网改变教育，让中国人都有好书读”的使命，致力于用“互联网+教育”的科技手段让更多的孩子都能享有优质的教育，促进他们的全面成长。 成立十余年以来，铭师堂不断汇聚优质的全国各地教育资源，并展开先进科学技术在学校教育智能化领域、学生个性化学习领域的应用研究。杭州铭师堂始终坚守使命，持续创新，“赋能学校、培养学生”，在教育信息化 2.0 趋势下，致力于促进线上教育与线下教育的高度融合，以学校为核心场景，与学校携手共建互联网学习空间，为学校与学生提供学习解决方案，极大促...

_作者：金峰（项良）、朱永林、赵世振（寰奕）_ 一、公司简介 杭州热联集团股份有限公司成立于 1997 年 10 月，是隶属杭州市实业投资集团的国有控股公司。公司专业从事国际、国内钢铁贸易黑色大宗商品及产业服务，业务品种涵盖钢铁原料、钢铁产品及以铜为主的有色金属等。 2023 年，热联集团实现销售总量 9634 万吨，销售收入 2555 亿元，业绩增长 50%。 20162023 年，公司连续八年蝉联中国钢贸企业百强榜综合榜前三。入选国务院国资委“双百行动”企业名单，以及浙江省政府“凤凰计划”名单，被列入浙江省首批内外贸一体化“领跑者”培育企业。 目前热联集团的网点建设遍布国...

作者：程治玮，Higress Reviewer，目前在 SAP 从事可观测性相关工作 一、前言 什么是 AI Gateway AI Gateway 的定义是 AI Native 的 API Gateway，是基于 API Gateway 的能⼒来满⾜ AI Native 的需求。例如： + 将传统的 QPS 限流扩展到 token 限流。 + 将传统的负载均衡/重试/fallback 能力延伸，支持对接多个大模型厂商 API，提高整体稳定性。 + 扩展可观测能力，支持不同模型之间效果的对比 A/B Test，以及对话上下⽂链路 Tracing 等。 Higress 是阿⾥云开源...