计算机视觉网站扩容难？三步达成存储零冗余

　　一三年那会儿，我跟老周蹲在海淀桥那个隔断间里改Nginx配置，朝北的窗户玻璃上全是水汽，风扇嘶啦嘶啦响得像快散架——他叼着烟头，手边泡面汤都凉透了，还一个劲儿点鼠标刷新监控页。那时候扩容？就是把图片全扔七牛外链，自己服务器只留HTML和JS，连缩略图都懒得多存一份。我们管这叫“轻量部署”，其实是穷。去年高考期间我翻旧备份包，发现一三年五月十二号凌晨三点十七分，有张考生身份证照片被反复上传了四百一十六次，系统没拦，前端也没做防抖，就干等着它把硬盘塞爆。我原以为是CDN回源太猛，结果查日志才发现——是我们压根没写去重校验，连MD5都没算。这一步走错了，错得特别踏实。

　　一七年换云了。阿里云对象存储刚推OSS-Select，我们团队第一次搞“冷热分离”：用户新传的图走实时处理流水线，旧图自动迁冷归档。当时李婷还在，她写了个脚本，每天凌晨跑一次哈希比对，把重复的视觉素材标记为“候选剔除”。她总说“优胜劣汰不是删，是让数据自己说话”。可她走之后没人接这个逻辑，那脚本第三个月就停了——运维说它占CPU太高，还报过两次误删，把某高校AI竞赛的原始训练集当冗余给标黄了。后来才知道，那批数据根本没被引用，只是被人下载后又重新上传了一遍，名字改了三个字，后缀加了个下划线。没人真去翻访问链路图。所以现在回头看，一七年最狠的不是技术升级，是开始有人问：“谁最后看一眼日志？”——而我们都答不上来。

　　二二年那次大扩容，根本不是因为流量涨，是备案收紧逼的。原先挂在个人名下的几个子站全被要求独立主体、独立存储、独立审计。那天下午我跟技术总监老赵视频，他那边显示器右下角时间显示16:43，背景音里小孩在砸积木。他突然切出一张表：“你看，同一张车牌识别图，在我们库里有17个变体：角度差3度的、曝光调过但没重命名的、用OpenCV转灰度后再存PNG的……光是‘京A12345’这一条记录，衍生文件占了8.2TB。”我说“删了吧”，他摇摇头，“删了前端就404，下游调用方不通知我们就硬切接口”。我们花了六周搭了个灰度路由层，把所有同源图像打上指纹标签，再靠访问频次反向锁定“有效副本”。可真正起作用的，居然是去年高考期间临时加的一个开关——学生上传答题卡时强制触发内容DNA比对，连扫描仪色偏导致的像素漂移都能捕捉。那功能本来只为了防作弊，结果顺手清掉了三成历史冗余。你说玄不玄？

　　不过我现在办公桌上那台显示器牌子真记不清了，三星还是HKC？外壳磨得发亮，右下角有个圆点划痕，应该是某次摔过。前两天保洁阿姨拿酒精擦屏，我下意识按住她手腕——怕她蹭掉左上角贴的便利贴，上面印着“一七年李婷手写：哈希前先Normalize，别信原始EXIF”。其实早就不需要了，现在模型自己能认出旋转180度的同一张人脸，但那张纸我一直没撕。

　　说到李婷……她去年发朋友圈说在杭州做农业视觉，用无人机拍稻穗病斑，图存阿里云，模型训在华为云，中间链路全用KMS密钥中转。底下评论里有人说“你当初写的去重脚本现在开源社区还在用”，她回了个笑哭表情，再没提别的。我猜她早就不记得那个凌晨三点的身份证照片了。我倒记得，连那张图的原始分辨率是多少都记得——2983×4176，JPEG，无损压缩，因为当年我们为省带宽关掉了Exif写入，所以唯一能溯源的只剩这个尺寸。可现在谁还靠尺寸辨重？模型扫一眼就知道是不是同一双眼睛在看镜头。

文章配图，仅供参考

　　前天开会，新来的实习生问：“为什么不用Content-ID直接代替文件名？”我没答。他电脑壁纸是Docker图标，桌面干净得反光。我想起一三年老周泡面汤里浮着的葱花，想起一七年李婷键盘上贴的便签纸，想起二二年备案材料堆在复印机旁，边缘被热气卷得微微翘起。我们当年靠人盯日志、靠经验压阈值、靠骂醒同事去改代码；现在靠策略、靠路由、靠跨云密钥轮换——可“优胜劣汰”这四个字，从来不是系统判的，是活人一次次伸手，从海量噪音里拎出那根真实的线。只不过线越来越细，拎的人越来越少。

　　现在这套我也拿不准还能干几年。

（编辑：均轻资讯网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!