MySQL运维实战：36小时从崩溃到高可用

　　去年5月份，凌晨三点十七分，我盯着屏幕右下角那个跳动的“23:17”，脑子还卡在时区混乱里——其实早该是凌晨了。告警群弹出第三条“主库不可写”，而我手边那杯凉透的茉莉花茶底，浮着两片发软的茶叶梗。老张在语音里说“备库延迟三小时”，我嗯了一声，把椅子往回一拉，椅脚在水泥地上拖出半米长的哑声。那时候我想：又来了。

　　一三年那会儿，我们真是在屋里盯屏盯到眼睛发涩。机房在朝阳路一个旧仓库二楼，朝北，没窗，只靠一台落地扇呼啦呼啦吹，风向全凭你歪头角度决定。我跟小陈轮班守着那台联想启天M710E，显示器牌子……记不清了，反正是灰壳子，右上角掉了一块漆。他抽烟，我就数烟灰缸里第几根断掉的中南海。主从挂了？重搭。binlog错位？手动补。备份？用scp传到另一台虚拟机，每周六凌晨跑一次mysqldump，脚本里写死密码，明文。我原以为只要dump不报错、restore能进库，就算“稳”。结果某次恢复完才发现utf8mb4被降成utf8，半个订单号变成问号——客户投诉前两天，我们还在群里庆祝“零宕机满月”。

　　一七年换了云，开始学着看RDS控制台。王工——就是当年在知乎答MySQL参数调优被封过两次的那位——跳槽去了某厂，临走塞给我一张A4纸，手写“max_connections别碰，innodb_buffer_pool_size先设成物理内存75%，但注意云主机有共享内存池”。我们照着干了三个月，直到某次大促，buffer_pool疯狂抖动，监控图像心电图，查下来是云厂商偷偷升级了底层KVM，IO调度策略变了，而我们的脚本还在按本地SSD节奏刷脏页。没人通知，也没地方问。那天夜里我一边改sysctl，一边听电话那头运维同事吼：“你们到底动没动autocommit？”——其实没动，但我们俩都默认对方动了。这种事，一七年之后多了起来，不再是“我手误”，而是“我们都以为安全，结果没人兜底”。

　　风扇还是响。去年五月那间办公室换成了远程，但风扇声好像刻进耳膜了。我开六个终端窗口，同时ssh进四套环境：测试、预发、两个生产分片、还有一个被遗忘的“灾备演练库”——它三年没同步过，账号密码早就失效。告警显示主库CPU 99%，我第一反应是查慢查，结果发现是pt-archiver执行到一半卡住，锁表两小时。可它不该在线上跑啊。翻Git记录，发现是上个月新来的实习生——叫林薇，刚从培训班出来，试用期第二周——在部署清单里勾错了环境标签。这事儿不能怪她。因为去年二月我们刚砍掉所有手工发布环节，上了新CI流水线，而那个“环境校验插件”，是我亲手关掉的。理由很实在：它每次校验多花47秒，大促前怕超时。我原以为省下的时间能换来更稳的发布节奏，结果……它让一条命令钻进了生产主库，而不是沙箱。这是我走错的一步。现在想想，47秒换三小时抢救，不是算术题，是赌桌上的骰子扔歪了。

　　林薇后来把脚本重写了，加了三次确认：CLI弹窗、企业微信二次弹、最后还调了个TTS语音朗读“您即将操作PROD-MASTER，请输入您的工号后四位”。听着怪滑稽，但我没拦。小陈上个月来北京看病，顺道吃了顿饭，他现在给银行做审计合规，聊起备份策略，第一句还是“你们现在还敢用逻辑备份做PITR？”——我笑了一下，没接。倒不是不想说，是那顿饭吃到一半，隔壁桌俩人讨论抖音本地生活券核销延迟，用的词全是“履约闭环”“LBS打点”，我听见就搁筷了。他夹了块松鼠鳜鱼，酱汁滴在袖口上，像一滴没擦干净的汗。

　　二二年之后，工具链越来越厚，可人反而缩得更小。以前一个人能拆主从、写failover、扛住监控风暴；现在光是配通一个Prometheus+Alertmanager+VictoriaMetrics+Grafana+自研巡检Bot的数据链路，就得撕三周需求文档。我们管它叫“高可用建设”，其实是在把单点故障，拆成三十个互相等待的故障点。有人说这是进步。我无所谓。就像那台启天M710E显示器，至今放在我家书房角落，HDMI口锈了，VGA口倒还能亮。前几天孩子想打游戏，插上去，蓝屏一闪，然后黑着，没信号。我拔下来，拍拍灰，没修。

　　今年Q2，我们准备上线自动主库漂移模块。架构图我都签过字了。但上周压测，发现一旦跨可用区切流，DNS缓存老化时间比设计值多出2.3秒。这个数我查了三天，最后是从某云一个藏在“地域服务说明（Beta）”二级页面底部的PDF第18页找到的——他们上个月悄悄改的。我没转发给团队，只把它贴在工位玻璃上，用红笔圈出来。底下一行小字写着：“建议应用层主动探测IP有效性”。我盯着看了十分钟，忽然想起一三年小陈吐着烟圈说：“数据库哪有什么高可用，只有谁先撑不住。”

文章配图，仅供参考

（编辑：均轻资讯网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!