从模型管理到 AI 网关：把资产、流量与成本串成闭环
本文分两条主线展开：一条是模型管理与模型资产，回答模型从哪来、给谁用、何时退出；一条是 AI 网关，把授权与配额落实到每一次请求的鉴权、限流、选路和用量回传。两条线靠配额、配置与反馈闭环咬合在一起。
TAGS / 标签浏览
LLM
围绕「LLM」整理的文章。按发布时间浏览，也可以从专题导读选择完整的阅读路径。
文章列表
本页 5 篇大模型网关限流新思路：从进程内漏桶到分布式漏桶矩阵
读百炼网关用 RocketMQ LiteTopic 重构大模型限流的文章后，记录核心思路，并补上原文跳过的响应通道设计——消费端调模型后，流式响应怎么回到客户端。
阅读六本大模型书的阶段性思考：一个 Token 如何变成答案
在阅读六本大模型书籍的过程中，从技术演进、分词、注意力、MoE、GPU、Prefill、Decode、RAG、微调和评估等角度，阶段性梳理大模型从 Token 到答案的完整链路。
《Harness工程：从上下文管理到Agent系统构建》笔记
《Harness工程》读书笔记，梳理上下文管理、规划执行、反思记忆、Skills、多 Agent 协作与 Agent 产品设计。
AI 网关如何选型？协议兼容、流量治理与性能评估评分卡
面向企业模型接入层，从协议兼容、Token 与流量治理、SSE 流式处理、运行时性能和生产成熟度评估 AI 网关，提供选型评分框架与验收清单，不做具体产品排名。