从模型管理到 AI 网关:把资产、流量与成本串成闭环
模型管理决定谁能用什么、能用多少,AI 网关把授权和配额落实到每次请求。本文沿模型与请求的生命周期,拆解业务面、配置面和数据面的职责,以及用量回流、成本归属和模型下线之间的关系。
TAGS / 标签浏览
围绕「AI Gateway」整理的文章。按发布时间浏览,也可以从专题导读选择完整的阅读路径。
模型管理决定谁能用什么、能用多少,AI 网关把授权和配额落实到每次请求。本文沿模型与请求的生命周期,拆解业务面、配置面和数据面的职责,以及用量回流、成本归属和模型下线之间的关系。
API7 AI 网关升级后出现流式请求偶发 500 与低流量 CPU 打满。本文通过对照实验、依赖 diff、perf 和受控复现,分别定位两个独立缺陷,并区分临时缓解、最终修复与节点调频差异。
面向企业模型接入层,从协议兼容、Token 与流量治理、SSE 流式处理、运行时性能和生产成熟度评估 AI 网关,提供选型评分框架与验收清单,不做具体产品排名。
复盘 API7 / APISIX AI 网关的 CPU 饱和问题,从协程、流式背压和运行时行为寻找代码逻辑之外的盲区。记录如何借助 AI 扩展排查假设,再用源码、PR、实验和监控约束结论。
记录 APISIX 中 Anthropic 与 OpenAI 兼容协议转换插件的开发过程,围绕流式响应、思考、工具调用和多模态准备测试场景,结合参考实现与 AI 辅助开发验证转换行为。