从模型管理到 AI 网关:把资产、流量与成本串成闭环
本文分两条主线展开:一条是模型管理与模型资产,回答模型从哪来、给谁用、何时退出;一条是 AI 网关,把授权与配额落实到每一次请求的鉴权、限流、选路和用量回传。两条线靠配额、配置与反馈闭环咬合在一起。
TAGS / 标签浏览
围绕「APISIX」整理的文章。按发布时间浏览,也可以从专题导读选择完整的阅读路径。
本文分两条主线展开:一条是模型管理与模型资产,回答模型从哪来、给谁用、何时退出;一条是 AI 网关,把授权与配额落实到每一次请求的鉴权、限流、选路和用量回传。两条线靠配额、配置与反馈闭环咬合在一起。
API7 AI 网关升级后出现流式请求偶发 500 与低流量 CPU 打满。本文通过对照实验、依赖 diff、perf 和受控复现,分别定位两个独立缺陷,并区分临时缓解、最终修复与节点调频差异。
线上 API7 / APISIX 网关偶发 504,请求耗时精确卡在 15 秒。本文通过超时配置追踪、内核参数分析、DNS 排除和抓包交叉验证,定位一次 SYN 重传超时问题,并说明案例适用边界。
复盘 API7 / APISIX AI 网关的 CPU 饱和问题,从协程、流式背压和运行时行为寻找代码逻辑之外的盲区。记录如何借助 AI 扩展排查假设,再用源码、PR、实验和监控约束结论。
记录 APISIX 中 Anthropic 与 OpenAI 兼容协议转换插件的开发过程,围绕流式响应、思考、工具调用和多模态准备测试场景,结合参考实现与 AI 辅助开发验证转换行为。
分析 Apache APISIX 的高性能架构,重点介绍事件驱动、协程、LuaJIT、OpenResty 等核心设计及其与 Envoy 的差异。