从模型管理到 AI 网关:把资产、流量与成本串成闭环
本文分两条主线展开:一条是模型管理与模型资产,回答模型从哪来、给谁用、何时退出;一条是 AI 网关,把授权与配额落实到每一次请求的鉴权、限流、选路和用量回传。两条线靠配额、配置与反馈闭环咬合在一起。
CATEGORIES / 分类浏览
模型接入、协议转换、Agent 应用与 AI 平台的工程实践。
本文分两条主线展开:一条是模型管理与模型资产,回答模型从哪来、给谁用、何时退出;一条是 AI 网关,把授权与配额落实到每一次请求的鉴权、限流、选路和用量回传。两条线靠配额、配置与反馈闭环咬合在一起。
比较 OpenCode、Pi、DeepSeek Harness、Codex、Claude Agent SDK 和 OpenHands,区分独立运行、HTTP API 和会话管理,给出决策路径与建设量估算,并讨论接入业务时的职责边界和数据合规。
在阅读六本大模型书籍的过程中,从技术演进、分词、注意力、MoE、GPU、Prefill、Decode、RAG、微调和评估等角度,阶段性梳理大模型从 Token 到答案的完整链路。
通过一个可运行的点餐 Demo,串联 Tool Calling、MCP、A2A、AG-UI、HITL、Skill 路由与多 Agent 协作的完整开发链路。
结合阅读与工程实践思考AI深度参与工作和生活后,普通人如何守住独立判断、责任意识、基本功和长期能力,避免把决策完全交给模型。
《Harness工程》读书笔记,梳理上下文管理、规划执行、反思记忆、Skills、多 Agent 协作与 Agent 产品设计。
沿一份文档和一次提问的完整链路,拆解 Go 项目中的异步解析、OCR、切片、混合检索、RRF、Reranker、引用校验与故障降级。
面向企业模型接入层,从协议兼容、Token 与流量治理、SSE 流式处理、运行时性能和生产成熟度评估 AI 网关,提供选型评分框架与验收清单,不做具体产品排名。
记录 APISIX 中 Anthropic 与 OpenAI 兼容协议转换插件的开发过程,围绕流式响应、思考、工具调用和多模态准备测试场景,结合参考实现与 AI 辅助开发验证转换行为。