August 12, 2024
利用通义灵码实现我的第一次开源贡献
作者介绍:重庆邮电大学计算机学院李逸雄
一、结缘开源
最早了解开源是从学校的兴趣组织开始的。2023 年 10 月 21 日,openSUSE 亚洲峰会在我们学校召开,这次会议汇聚了许多来自 openSUSE 社区贡献者以及对开源感兴趣的爱好者们。我第一次知道有这么多志同道合的爱好者在进行开源贡献,他们以个人兴趣为驱动力共同维护着一个社区。这次峰会激发了我对开源社区的兴趣,一颗种子也开始从我心中发芽——我也想要做一次开源贡献!2024 年 6 月 24 日,我上完课准备回宿舍,刚好在必经之路上看到“2024天池云原生编程挑战赛”的宣传海报。我一看居然是阿里云举办的,回到宿舍后就立马...
August 12, 2024
Higress全新Wasm运行时,性能大幅提升
本文作者澄潭, 阿里云API网关软件工程师,Higress开源项目主要贡献者何良, Intel Web Platform Engineering软件工程师, WAMR开源项目主要贡献者
本文介绍Higress将Wasm插件的运行时从V8切换到WebAssembly Micro Runtime (WAMR)的最新进展。通过切换到WAMR并开启AOT模式大幅提升了Wasm插件性能,从我们的测试中大部分插件平均有50%左右的性能提升,一些逻辑复杂的插件性能直接翻倍。
Higress Wasm插件
Higress作为首个推出Wasm扩展能力的云产品网关,从2022年就上线了Wasm插件市场,...
August 12, 2024
Higress 开源后,我们整理了开发者最关心的 15 个问题
云原生架构下,网关承载着流量管理、服务调用、安全管理等多重职能,在稳定性、性能、安全性、易用性上存在着更高的要求。在 CNCF Landscpae 编排和管理的 API Gateway 领域中,已经有不少开源的网关选择,开发者们也有着不小的选型诉求。云原生网关 Higress 开源后,引起了开发者们的热烈讨论,我们整理了大家在 GitHub、钉群、微信群讨论的问题,并将回答汇总如下,方便各位更准确的读懂 Higress,也非常欢迎您和我们一起共建、定义 Higress。Q1:Higress 现在适合上生产系统么?A1:推荐发布 GA(General Availability)版本后再上生产,...
August 12, 2024
对比5个开源网关项目,这家SaaS企业如何统一网关架构
作者:古建国
一、关于美洽
美洽作为全球智能云客服服务商,10 年来深耕智能客服领域,旗下拥有在线客服、呼叫中心、客服机器人、工单系统、语音机器人等智能客服系列产品矩阵,覆盖不同行业客户服务场景,致力于帮助企业获客、销售和服务场景的效率提升。目前,美洽全链路产品已经服务超过 40 万家企业客户,覆盖互联网软件、教育培训、医疗、电子商务、金融、生活服务和房地产等行业领域。
二、需求背景
1. 多条业务线使用了了不同编程语言,在微服务化演进的路上困难重重;
2. 历史架构使用多个流量转发中间件导致流量路径冗长、复杂且故障排查困难(LB + OpenResty + Nginx + Cad...
August 12, 2024
时速云使用 Higress 替换 Ngnix Ingress + Spring Cloud Gateway 的生产实践
作者介绍:王金山,北京云思畅想科技有限公司技术部微服务架构师,负责公司 API 网关和服务网格等研发工作
一、时速云介绍
时速云成立于2014年10月,致力于通过云原生技术帮助企业实现数字化转型,拥有云原生应用平台 TCAP 和云原生数据平台 KubeData 两大核心产品体系,产品包含云原生 DevOps、容器云 PaaS、中间件服务、边缘计算、微服务治理、服务网格、API 网关等。
二、需求背景
时速云的 PaaS 平台中存在着多款网关软件:
以 HAProxy、Nginx Ingress 为基础的流量网关
Spring Cloud 微服务体系的 Spring Cloud ...
August 12, 2024
Higress + Nacos 微服务网关最佳实践
一、前言
在去年11月的云栖大会上,我们开源了云原生网关 Higress,时隔 2 月,Higress 的 Github 项目(https://github.com/alibaba/higress)已经收获了 700+ star,以及大量社区小伙伴的关注。在社区的交流中我们发现有不少微服务开发者在使用如 Spring Cloud Gateway/Zuul 等微服务网关对接 Nacos 注册中心实现微服务的路由,并且希望了解迁移到 Higress 网关能带来哪些好处。 本文将介绍 Higress 组合 Nacos 作为微服务网关能力,并介绍微服务网关发展的两个趋势,为网关的选型指明道路:
...
August 8, 2024
如何使用 Higress 快速构建 AI 应用?
随着AI时代到来,基于大模型的应用对网关提出了新的要求,例如在不同LLM提供商之间进行负载均衡、构建AI应用的可观测能力、基于token的限流保护与配额管理、AI应用内容安全等等。Higress基于企业内外的丰富场景沉淀了众多面向AI的功能,推出了AI原生的API网关形态并且全部开源。 是一个开源的前端项目,用于提供大模型聊天窗口,支持接入多种大模型,本文基于Higress、通义千问以及 ChatGPTNextWeb,演示 Higress 如何兼容 openai 协议,并逐步搭建一个体系完整的LLM应用,应用最终架构如图所示:
AI 代理
官方文档:
应用架构
首先,我们先通过网关快...
July 23, 2024
OpenAI 国内停服,除了停机迁移,这个方案更平滑
OpenAI 国内停服,除了各个大模型厂商提供的迁移方案外,是否有其他更平滑的迁移方案呢?本文以 OpenAI 切换到通义千问为例,介绍开源网关 Higress 的应对方案。优势是:
默认按照模型价格和能力进行了合理映射,且支持用户自定义调整配置
可以通过 OpenAI 的统一协议对接多种大模型,屏蔽实现细节,降低接入新大模型的 API 适配成本
Higress 可以提供 token 限流插件、内容审核插件,通过网关的工程化能力实现业务收益
实操视频
步骤介绍
准备工作:需要登陆阿里云
第一步:启动 Higress AI 网关
Higress 有多种部署方式,例...
July 18, 2024
Higress 发布 v1.4,开放 AI 网关能力,增强云原生能力
基于大模型的 AIGC 应用或 SaaS 服务,出现了全新的需求,例如对 LLM 结果的缓存、多个 LLM 之间的容错切换、基于 toke 的限流、内容审核等,通过在网关上的插件能力可以非常优雅的满足这些需求,形成统一的流量治理,从而避免后端服务的“负重”。
一、新版本简介
Higress 发布 v1.4,基于为通义千问,以及多家云上 AGI 厂商客户提供 AI 网关的积累沉淀,开源了大量 AI 原生的网关能力。同时也在 Ingress、可观测、流控等云原生能力上做了全方位升级。AI能力全面开源:提供包含安全防护、多模型适配、可观测、缓存、提示词工程等领域在内的多个开箱即用插件,核心能力...