大模型网关限流新思路:从进程内漏桶到分布式漏桶矩阵
读百炼网关用 RocketMQ LiteTopic 重构大模型限流的文章后,记录核心思路,并补上原文跳过的响应通道设计——消费端调模型后,流式响应怎么回到客户端。
CATEGORIES / 分类浏览
在业务约束下讨论系统边界、网关选型、高可用与架构演进。
读百炼网关用 RocketMQ LiteTopic 重构大模型限流的文章后,记录核心思路,并补上原文跳过的响应通道设计——消费端调模型后,流式响应怎么回到客户端。
记录多云、多 Kubernetes 集群环境中的网关架构取舍,围绕实例部署、流量就近、安全边界、故障隔离和统一管理组织设计,说明集群级网关与应用入口之间的关系。
分析 Apache APISIX 的高性能架构,重点介绍事件驱动、协程、LuaJIT、OpenResty 等核心设计及其与 Envoy 的差异。
架构的本质是通过合理的内部编排,保证系统高度有序,能够不断扩展,满足业务和技术的变化。本文深入分析架构的本质、分类以及如何成为一名优秀的架构师。
基于Golang、Gin和ReverseProxy构建高效业务网关,实现路由热加载、反向代理、权限控制等功能。
动手开发自己的鉴权服务,支持动态新增资源类型、资源属性,实现RBAC与ABAC相结合的权限控制能力。
架构设计需要遵循三个核心原则:合适原则(合适优于业界领先)、简单原则(简单优于复杂)、演化原则(演化优于一步到位)。
微服务技术栈实践:Jenkins实现CI/CD、Kubernetes实现调度与高可用、Istio实现监控熔断限流。
介绍客户中心的架构设计,通过统一账户模型、OAuth 和账户合并解决多系统客户数据分散与同步问题。
转载分析阿里开源分布式事务中间件Fescar(后改名Seata),了解分布式事务框架的设计思路和实现原理。