业务沉淀&线上问题
梳理日常业务积累,复盘线上各类故障与异常问题,总结排查思路、优化方案与规避经验,提升系统稳定性与问题处置效率。
All Articles in 业务沉淀&线上问题
009-CPU 使用率较高影响单机接口吞吐量
压测发现服务 CPU 100%,火焰图定位到 DecodeResponse 存在双重 JSON 序列化( []byte → map → []byte → struct ),占用 44.6% CPU。改用 Go 泛型直接反序列化到目标 struct 后:平均响应时间降 48%(2083ms→1090ms)、错误率清零、QPS 升 73%(142→247)、标准差降 66%。数据量大的接口 CPU 显著降低,小数据量接口吞吐量暴涨,最高提升 840%。
经验-查询类接口超时优化技巧
为满足查询接口高成功率要求,针对 Motan RPC 超时问题开展代码层优化。借助链路追踪定位耗时节点,通过精简日志、卫语句提早返回、批量查询并参数去重、异步并行调用、本地缓存预热等方式提速,同时合理调整 RPC 超时与重试配置,整合精简接口,有效降低调用超时概率。
008-JVM堆外内存泄露排查
出海服务开启设备日志记录功能后,频繁触发 Full GC、非堆内存持续上涨、CPU 小幅升高。排查定位为 Fastjson 每次新建 SerializeConfig,造成频繁类加载、元空间占用持续增长,引发元空间阈值 Full GC。通过复用 SerializeConfig 对象修复问题,同时沉淀字节码类框架使用的性能规避经验。
项目-IM如何保证消息不丢失
IM 消息可靠投递依靠请求、应答、通知三类报文交互。单次私聊完整收发需六个报文,依托超时重传、应答确认机制规避报文丢失问题。通过唯一消息 ID 实现消息去重,同时区分在线与离线消息处理逻辑,以此保障消息不丢失、不重复,群消息可参照私聊流程适配实现。
项目-直播间业务多级缓存优化
主播开关播瞬间接口请求暴增,系统 QPS 冲高,服务器、缓存与数据库 CPU 负载激增。梳理高频接口定位性能瓶颈,通过冷热数据分层缓存、开播关播提前预热数据、异步刷新本地缓存,精简冗余接口与字段。优化后流量冲击回落,CPU 峰值毛刺消失。
项目-服务降级
突发联动开播流量压垮服务,为防范此类风险,搭建多级防护体系。依托 Sentinel、Hystrix 实现自动降级,采用线程池与信号量隔离规避级联故障。同时支持多维度手动降级策略,按业务场景分流读写请求、精简返回内容,保障核心业务平稳运行。





