API7 AI 网关升级故障复盘:流式 500 与低流量 CPU 打满
API7 AI 网关升级后出现流式请求偶发 500 与低流量 CPU 打满。本文通过对照实验、依赖 diff、perf 和受控复现,分别定位两个独立缺陷,并区分临时缓解、最终修复与节点调频差异。
CATEGORIES / 分类浏览
从现象、假设和证据出发,记录生产故障的定位、缓解与修复。
API7 AI 网关升级后出现流式请求偶发 500 与低流量 CPU 打满。本文通过对照实验、依赖 diff、perf 和受控复现,分别定位两个独立缺陷,并区分临时缓解、最终修复与节点调频差异。
线上 API7 / APISIX 网关偶发 504,请求耗时精确卡在 15 秒。本文通过超时配置追踪、内核参数分析、DNS 排除和抓包交叉验证,定位一次 SYN 重传超时问题,并说明案例适用边界。
复盘 API7 / APISIX AI 网关的 CPU 饱和问题,从协程、流式背压和运行时行为寻找代码逻辑之外的盲区。记录如何借助 AI 扩展排查假设,再用源码、PR、实验和监控约束结论。
复盘 Elasticsearch 集群因索引和分片数量失控、mmap 与本地内存压力导致写入超时和集群变红的事故:从 hs_err 日志定位 native memory 分配失败,并用 allocation explain 救回未分配的 shard。
复盘一次 Feign 调用导致 CPU 占用过高和接口响应变慢的生产事故,记录告警、定位、根因与处理过程。
RocketMQ Client在云上环境报超时异常的排查过程,分析gRPC deadline exceeded问题的根因与解决方案。
复盘 Elasticsearch 7 节点混部集群丢失 Master 的事故:从线程池尖峰、带宽核对到抓包定位节点反复加入与退出,最终指向 6 万 shard。含未解根因的坦白记录。