站长圈从不公开的自动化运维真相

　　一三年那会儿，我跟老陈在西直门那个隔断间里搭监控。朝北，没窗户，全靠门口那扇半开的铁皮门透点光。风扇是台二手美的，响得像拖拉机挂了三档，他总说这声儿听着踏实——结果有天夜里硬盘阵列告警，我们俩愣是听了二十分钟才反应过来不是风扇在叫。老陈叼着烟，烟灰掉在键盘上，烫出三个小黑点。我们用Zabbix加Shell脚本轮询，每五分钟扫一次Apache日志，扫出502就发邮件，邮件标题带“【P0】”，可没人真半夜爬起来看。那时运维就是守夜人，人醒着，系统才敢喘气。

　　一七年换了一茬人，也换了一茬活法。老陈早不做站了，去搞小程序分销，前年朋友圈发过一张三亚的照片，背景是酒店大堂，玻璃幕墙映着他举杯的手。我那会儿刚接手三个IDC机房，开始推Ansible，写playbook比写情书还认真。有一回给三十台CentOS 7批量装Docker，playbook里忘了判别内核版本，直接把两台生产库的grub.cfg刷崩了。重启进不了系统，我蹲在机房角落拿U盘重灌，手抖，U盘插反了三次。那个晚上没抽烟，但嘴里一直含着颗薄荷糖，化完了也没觉出凉意。我原以为标准化能省人力，结果三年下来，光适配不同云厂商的API就写了四套模板，越标准化，越难标。

　　桌上那台DELL显示器牌子我一直记不清——是E2214H还是E2216H？反正右下角贴了张泛黄的便签，写着“nginx配置勿动｜老张”。老张早联系不上了，微信最后一条是二〇年发的“转行做宠物殡葬，挺好”。我问他干吗不继续搞服务器，他说：“猫主子蹬腿那刻，比MySQL死锁还准。”

文章配图，仅供参考

　　我走错的那步，在二一年底。那时候流量见顶，老板问：“还能不能再省点人？”我想都没想，就把整个日志告警模块砍了，换成ELK加一封每日汇总邮件。结果二二年春节，Redis连接池突然耗尽，监控沉默了十七个小时。不是没告警，是告警被我亲手删掉的那条规则过滤掉了——那规则写着“ignore if error_rate < 0.02”，而当天故障是渐进式泄漏，峰值始终卡在0.0198。我删的不是代码，是最后一道人的呼吸感。后来查日志才发现，凌晨三点有三条error日志，散在十万行access log里，就像当年老陈掉在键盘上的烟灰，你非得凑近了、歪着头、屏住气，才能看见。

　　现在这套我也拿不准还能干几年。上周试了新买的Rust写的轻量Agent，编译完跑不起来，报错说“failed to bind to IPv6 port”，我盯了十分钟，顺手关了IPv6——结果测试环境一切正常，上线后边缘节点全连不上控制面。同事说该看文档，我说算了，又切回Python。不是懒，是知道有些坑踩过一遍就够了，第二遍，得有人拿命去垫。

　　对了，去年整理旧U盘，在一个叫“zabbix-old”的文件夹里翻出个txt，标题是《一三年告警阈值草稿v0.7》，打开全是“http_code_502 > 3次/5min”，底下一行手写备注：“如果连续超限，请先敲机柜侧面，有时是接触不良。”后面还画了个箭头，指向“另：老陈说他媳妇怀孕了，下次重启等他回来一起。”

　　风扇早换了，DELL显示器也扔了。可昨天在新机房听见空调外机嗡嗡响，那一秒，我差点扭头找老陈问烟在哪借。人其实没变，只是把守夜的地方从隔断间搬进了Dashboard，把烟灰掸到了Prometheus的Alertmanager里。优胜劣汰？不是谁技术好谁留下，是那些还记得“敲机柜侧面”的人，还没被系统自动标记为“deprecated”。

　　二六年二月，我把所有备份策略检查项重新写了遍。没用Terraform，就Excel，一行行打钩。第四列写着“是否人工确认”，我划了勾，然后在旁边空白处，用红笔补了三个字：“必须。”

（编辑：均轻资讯网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!