从模型管理到 AI 网关：把资产、流量与成本串成闭环
模型管理决定谁能用什么、能用多少，AI 网关把授权和配额落实到每次请求。本文沿模型与请求的生命周期，拆解业务面、配置面和数据面的职责，以及用量回流、成本归属和模型下线之间的关系。
TAGS / 标签浏览
Rate Limiting
围绕「Rate Limiting」整理的文章。按发布时间浏览，也可以从专题导读选择完整的阅读路径。
文章列表
本页 2 篇大模型网关限流新思路：从进程内漏桶到分布式漏桶矩阵
读百炼网关用 RocketMQ LiteTopic 重构大模型限流的文章后，记录核心思路，并补上原文跳过的响应通道设计——消费端调模型后，流式响应怎么回到客户端。