从模型管理到 AI 网关:把资产、流量与成本串成闭环
模型管理决定谁能用什么、能用多少,AI 网关把授权和配额落实到每次请求。本文沿模型与请求的生命周期,拆解业务面、配置面和数据面的职责,以及用量回流、成本归属和模型下线之间的关系。
衣舞晨风 / ENGINEERING NOTES
记录 APISIX / API7、Elasticsearch 和 Go 系统中的真实故障、架构取舍与性能优化。从问题现场出发,用源码、实验和监控验证结论。
模型管理决定谁能用什么、能用多少,AI 网关把授权和配额落实到每次请求。本文沿模型与请求的生命周期,拆解业务面、配置面和数据面的职责,以及用量回流、成本归属和模型下线之间的关系。
API7 AI 网关升级后出现流式请求偶发 500 与低流量 CPU 打满。本文通过对照实验、依赖 diff、perf 和受控复现,分别定位两个独立缺陷,并区分临时缓解、最终修复与节点调频差异。
读百炼网关用 RocketMQ LiteTopic 重构大模型限流的文章后,记录核心思路,并补上原文跳过的响应通道设计——消费端调模型后,流式响应怎么回到客户端。
线上 API7 / APISIX 网关偶发 504,请求耗时精确卡在 15 秒。本文通过超时配置追踪、内核参数分析、DNS 排除和抓包交叉验证,定位一次 SYN 重传超时问题,并说明案例适用边界。
比较 OpenCode、Pi、DeepSeek Harness、Codex、Claude Agent SDK 和 OpenHands,区分独立运行、HTTP API 和会话管理,给出决策路径与建设量估算,并讨论接入业务时的职责边界和数据合规。
在阅读六本大模型书籍的过程中,从技术演进、分词、注意力、MoE、GPU、Prefill、Decode、RAG、微调和评估等角度,阶段性梳理大模型从 Token 到答案的完整链路。
通过一个可运行的点餐 Demo,串联 Tool Calling、MCP、A2A、AG-UI、HITL、Skill 路由与多 Agent 协作的完整开发链路。
结合阅读与工程实践思考AI深度参与工作和生活后,普通人如何守住独立判断、责任意识、基本功和长期能力,避免把决策完全交给模型。
《Harness工程》读书笔记,梳理上下文管理、规划执行、反思记忆、Skills、多 Agent 协作与 Agent 产品设计。
沿一份文档和一次提问的完整链路,拆解 Go 项目中的异步解析、OCR、切片、混合检索、RRF、Reranker、引用校验与故障降级。