深度学习服务器选型避坑与全栈调优实战

　　一三年那会儿，我蹲在西二旗老楼B座407，窗户朝北，风扇是三叶的，转起来像拖拉机挂了二挡。张工蹲我旁边，手抖着调CUDA 5.0驱动，烟灰掉进服务器导轨里——他至今还管那台机器叫“铁疙瘩”。我们拿两台Dell R720硬扛ResNet-18训练，batch size不敢超32，显存溢出报错时屏幕蓝得发紫，还得手动拔电源重启。当时觉得，选服务器不就看显卡几块、内存多大、硬盘多快？买！租！上！

　　一七年，我在望京SOHO的玻璃隔间里给新人讲“全栈调优四件套”：驱动版本、NCCL通信、混合精度、梯度裁剪。嘴上说得很顺，其实心里虚。那年我亲手把整套CI/CD流程塞进TensorRT 5.1 pipeline，结果上线第三天模型推理延迟翻倍——查了四十八小时，发现是某次镜像构建时，误删了libcudnn.so.7软链接，而CI脚本里根本没校验so版本。我原以为加个sha256校验就能防住，结果测试环境永远比生产环境少半秒心跳检测，它就不报错。没人骂我，但王磊默默把那行build指令从共享仓库删了，第二天在钉钉群里甩了张截图，就俩字：“别碰。”

　　去年六月份——就是去年六月份，客户凌晨两点发来GPU利用率曲线图：A100 80GB集群，训练跑三天，GPU-util长期卡在12%，显存只用了37%。我第一反应是查nccl版本，第二反应是怀疑PyTorch dataloader线程数。搞到早上五点，泡面凉透，才想起翻NVIDIA-smi -q里一句不起眼的字段：“PCIe Generation: Gen3 x16”……他们采购单写着“A100 PCIe版”，实际交付的是A100 SXM4版混插在Gen3背板上。带宽被锁死在32GB/s，而A100本该走Gen4。我当场在会议室干坐十分钟，没说话。这坑不是别人挖的，是我去年三月写技术选型建议书时，为省三万块预算，把“必须确认主板PCIe代际兼容性”这一条，划掉了。

　　说句实话，我早忘了那台老显示器牌子。方正？冠捷？记不清。但记得它右下角有个永久性黄斑，擦不掉，像一块凝固的蛋黄酱。那时候连tensorboard都要自己编nginx反代，日志文件一过百兆就打不开。李默还活着的时候，常骑单车绕五环去亦庄换散热硅脂，他说机房空调风太潮，硅脂三个月失效一次，不换就飘训——现在？现在谁还敢让模型飘训？飘一秒算一分钟资损。可他前年查出肾结石后，就再没回过公司群。

文章配图，仅供参考

　　还有件事得提：一七年我们还在用nvidia-docker；二二年全换成podman+rootless+device plugin，但上周帮某家券商做迁移，发现他们的K8s node labels写成“nvidia.com/gpu: true”，而新版plugin只认“nvidia.com/gpu.product: A100-SXM4-40GB”。他们用的旧标签跑了一年半，居然没爆——直到换了驱动，突然所有pod Pending。我盯着kubectl describe里的events看，手心出汗，忽然想起张工当年在B座407说过的话：“你当它是黑箱，它就真黑；你当它是白盒，它只是灰的。”

　　哦对，还有个小细节：去年六月那次故障排查，我用ssh连上去的第一条命令不是nvidia-smi，是cat /proc/cpuinfo | grep "model name"。因为上回在天津数据中心，CPU主频自动降频到1.2GHz，而监控图里一切正常。那台服务器的BIOS设置里，“Intel Turbo Boost”被上游运维统一关闭了，说是“防止热节流影响稳定性”——可模型推理延迟飙升了37%。他们说没问题，我也没吭声。毕竟，现在谁还信BIOS？

　　前几天看朋友圈，陈立在杭州搞AI基建创业，照片里新机柜闪着冷光，底下配文：“终于不用求着IDC调风扇转速了。”他当年在我隔壁工位写tf.estimator封装层，后来嫌TF太重，全转JAX。现在他代码里还留着一行注释：“// by ZHANG 2017”，但张工微信早就删了我。我不知道他现在在哪，也不知道他抽不抽烟了。

　　我现在带三个人，两个刚毕业的，一个转行来的。教他们看dmesg的时候，我会特地停顿两秒，让他们自己找那行“[xxxx] NVRM: GPU 0000:xx:xx.x: Failed to map BAR0”。这句话在一七年要命，在二二年已经成了背景噪音。可上周，它真又跳出来了——就在我自己的笔记本上，Windows子系统WSL2里启动CUDA容器时。我盯了十秒钟，没动手，等它自己重映射成功。

　　有些坑，填着填着就变浅了；有些坑，踩着踩着反而更深了。现在这套我也拿不准还能干几年。

（编辑：均轻资讯网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!