LiteTopic

大模型网关限流新思路：从进程内漏桶到分布式漏桶矩阵

读百炼网关用 RocketMQ LiteTopic 重构大模型限流的文章后，记录核心思路，并补上原文跳过的响应通道设计——消费端调模型后，流式响应怎么回到客户端。