从模型管理到 AI 网关：把资产、流量与成本串成闭环
模型管理决定谁能用什么、能用多少，AI 网关把授权和配额落实到每次请求。本文沿模型与请求的生命周期，拆解业务面、配置面和数据面的职责，以及用量回流、成本归属和模型下线之间的关系。
TAGS / 标签浏览
LLM
围绕「LLM」整理的文章。按发布时间浏览，也可以从专题导读选择完整的阅读路径。
文章列表
本页 5 篇大模型网关限流新思路：从进程内漏桶到分布式漏桶矩阵
读百炼网关用 RocketMQ LiteTopic 重构大模型限流的文章后，记录核心思路，并补上原文跳过的响应通道设计——消费端调模型后，流式响应怎么回到客户端。
阅读六本大模型书的阶段性思考：一个 Token 如何变成答案
在阅读六本大模型书籍的过程中，从技术演进、分词、注意力、MoE、GPU、Prefill、Decode、RAG、微调和评估等角度，阶段性梳理大模型从 Token 到答案的完整链路。
《Harness工程：从上下文管理到Agent系统构建》笔记
《Harness工程》读书笔记，梳理上下文管理、规划执行、反思记忆、Skills、多 Agent 协作与 Agent 产品设计。
AI 网关如何选型？协议兼容、流量治理与性能评估评分卡
面向企业模型接入层，从协议兼容、Token 与流量治理、SSE 流式处理、运行时性能和生产成熟度评估 AI 网关，提供选型评分框架与验收清单，不做具体产品排名。