APISIX 多进程架构:优势、缺点与适用边界
从两张架构图理解 APISIX 的多 worker 与协程模型,分析本地副本、shared dict 读锁、事件循环和资源隔离,再讨论 AI 流式代理的适用场景与压测重点。
TAGS / 标签浏览
围绕「AI Gateway」整理的文章。按发布时间浏览,也可以从专题导读选择完整的阅读路径。
从两张架构图理解 APISIX 的多 worker 与协程模型,分析本地副本、shared dict 读锁、事件循环和资源隔离,再讨论 AI 流式代理的适用场景与压测重点。
本文分两条主线展开:一条是模型管理与模型资产,回答模型从哪来、给谁用、何时退出;一条是 AI 网关,把授权与配额落实到每一次请求的鉴权、限流、选路和用量回传。两条线靠配额、配置与反馈闭环咬合在一起。
API7 AI 网关升级后出现流式请求偶发 500 与低流量 CPU 打满。本文通过对照实验、依赖 diff、perf 和受控复现,分别定位两个独立缺陷,并区分临时缓解、最终修复与节点调频差异。
面向企业模型接入层,从协议兼容、Token 与流量治理、SSE 流式处理、运行时性能和生产成熟度评估 AI 网关,提供选型评分框架与验收清单,不做具体产品排名。
复盘 API7 / APISIX AI 网关的 CPU 饱和问题,从协程、流式背压和运行时行为寻找代码逻辑之外的盲区。记录如何借助 AI 扩展排查假设,再用源码、PR、实验和监控约束结论。
记录 APISIX 中 Anthropic 与 OpenAI 兼容协议转换插件的开发过程,围绕流式响应、思考、工具调用和多模态准备测试场景,结合参考实现与 AI 辅助开发验证转换行为。