Go服务器性能调优:避坑选型,QPS翻倍实战
|
文章配图,仅供参考 一三年那会儿,我蹲在创业园B座三楼最里间,窗户朝北,冬天玻璃上一层白霜。老王在啃烧饼,油蹭到键盘缝隙里,赵工叼着烟,灰掉在《Go in Action》翻开的第42页——书页卷边,像被翻烂的旧地图。我们仨盯着屏幕里压测结果:QPS卡在1800死活不升,以为是代码写得怂,连改三版HTTP handler,最后发现nginx upstream里timeout写成3秒,而上游服务实际要3.2秒……就差那两百毫秒,整个链路全抖。没人提“选型”俩字,只说“把goroutine池加到2000试试”,没人信pprof,信的是肉眼盯gc log里那串冒号后的数字。我原以为把runtime.GOMAXPROCS调到核数两倍就能翻倍,结果内存暴涨四成,线上OOM三次,最后一次直接把老板刚买的阿里云ECS整关机了。风扇响,老式格力挂机,声音跟拖拉机过村口似的。赵工早走了,听说去年在杭州做嵌入式,微信头像还是当年那张戴护目镜焊电路板的照片。我前两天刷到他朋友圈,发了个RT-Thread的demo视频,底下有人问“Go跑MCU咋样”,他回:“没试过,怕烫。” 一七年换办公室,搬进带新风系统的写字楼,显示器换成戴尔U2715H,但我不记得型号,只记得右下角贴着胶布补过一道裂痕。那年突然人人谈“服务网格”,istio文档还没中文版,我们就抄Kubernetes社区的yaml硬配Envoy,折腾两周,把Go服务注入Sidecar后QPS反而跌了35%。回头扒日志才发现gRPC客户端默认开了keepalive,而底层LB不支持长连接回收,堆了八百多个ESTABLISHED状态的socket,最后是运维小李半夜重启SLB才救回来。可笑的是,当时还认真开了复盘会,结论是“业务逻辑太重”,没人敢说一句:我们根本没测过裸服务压测基线。 那天会议室空调打太低,我脱了外套搭椅背上,小李用马克笔在白板画拓扑图,画到第三遍手抖,把Service Mesh画成了“服雾”。他后来转去做SRE,现在管二十几个集群,上个月还问我有没有兴趣去看他们自研的流量染色平台。我没去。我说,我怕看懂了更睡不着。 二二年春节前,我一个人在客户现场调接口。不是远程,真坐在他们机房隔壁的小仓库里——没窗,灯管嗡嗡响,墙上贴着泛黄的《等保2.0自查表》,落款时间是一九年。他们用的是某国产云厂商的托管K8s,底层节点全是ARM架构,而我们编译的Go二进制包还带着CGO_ENABLED=1,一跑就panic。查了三天,最后发现是vendor里一个日志库依赖cgo的gettimeofday,而ARM系统时钟源没适配好。不是性能问题,是根本起不来。我当场重写日志模块,删掉所有cgo调用,上线后QPS翻倍——不是优化出来的,是让服务终于能活过十秒以上。 两个月前,我又碰上同样事。这次不是ARM,是某大厂新推的“Serverless Go Runtime”,宣称自动伸缩、免运维。我照例开pprof,结果profile里92%时间花在runtime.mcall上。追下去发现runtime把每个HTTP请求当独立goroutine启动,但他们的调度器在冷启动时故意delay 800ms做“资源预热”,等于把所有首字节延迟全吃掉了。客户问“能不能调”,人家文档写“不开放内核参数”。我沉默三分钟,撤了。改用普通ECS+手动扩缩容。不香,但稳。稳得像一三年那个老显示器,虽然裂了,但从来不会黑屏。 我错的那步,是一七年中旬砍掉了所有第三方监控埋点——觉得Zabbix太重,“不如用Go自带expvar自己曝指标”。结果半年后线上突增50%请求延迟,排查七十二小时,靠tcpdump抓包才发现DNS解析超时,而expvar里压根没曝DNS缓存命中率。我原以为精简就是进步,结果把最该看见的脉搏剪断了。这错误一直藏到二二年才被另一个实习生揪出来:他在Prometheus里加了一条记录dns_resolves_total的metric,第一周就报出异常峰值。 说到实习生,上个月来了个姑娘,毕业论文写《基于eBPF的Go应用延迟归因》,答辩PPT里有一张图,画着不同Go版本在不同内核下的Goroutine唤醒路径差异。她指着其中一段说:“老师,这里runtime居然绕开了CFS,直接用了一个叫‘per-P idle’的伪队列。” 我没接话。她不知道我桌上那本《The Go Programming Language》扉页上,有我一三年用圆珠笔写的批注:“调度器像老式收音机,调不准台,但换个姿势抱着它,声儿就出来了。” 现在这套我也拿不准还能干几年。不是技术变太快,是人变懒了。一三年靠人盯日志,一七年靠工具链,二二年靠厂商兜底,今年?靠运气吧。反正风扇还在响,只是换了台静音的。上次听见老式格力的声音,是去年修家里空调,师傅拆开外壳,指给我看压缩机上的锈斑,说:“这铁,比你孩子年纪都大。” (编辑:均轻资讯网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |



