大数据架构师必懂的5大实时计算技术要点

　　一三年那会儿，我们三个人挤在中关村那间朝北的小屋里，空调没装好，风扇呼噜呼噜转着，陈哲叼着烟在调试Kafka 0.7的offset提交逻辑——他手边那台冠捷显示器右下角裂了道细纹，到现在我也没记住型号。那时候说“实时”，是指数据从埋点打出来，到HBase里能查到，延迟控制在两分钟内，我们就敢在方案书里写“毫秒级响应”。

文章配图，仅供参考

　　谁信？反正客户信。我们自己也半信半疑。记得有回做电商大促看板，流量刚冲上来，Storm拓扑里的acker bolt全飘红，陈哲蹲在地上改配置，王薇在隔壁工位用Python硬写了个补数脚本，把漏掉的订单事件从Redis队列里捞出来重放。我没拦——我原以为只要重放够快，业务就看不出断层。结果财务对账那天早上八点，发现十七笔退款状态晚了四小时才同步，法务部直接发了邮件抄送CTO。那不是技术问题，是信任崩了一块。后来我悄悄把storm.yaml里ackers数量从16调到64，但没告诉他们——这事我认，走错了。不该迷信参数调优能兜住架构缺陷。

　　一七年……哦对，就是那个微信小程序刚火起来的年份。我们切到Flink 1.3，搭起CEP+窗口聚合的链路，连带着把Kafka从0.8升到1.0，中间滚了七次集群重启。老张当时还笑：“你们这哪是升级，是拆庙盖新庙。”他早就不碰后端了，上个月朋友圈晒他在大理做民宿OTA的BI看板，配文“不用跑批，也能睡整觉”。我点了个赞，没回话。他当年写的那个Hive UDF，现在还在我们某个冷备作业里跑着，没敢动，怕牵出三年前埋的日期解析bug。

　　二二年，五一期间。我蹲在杭州西溪园区一个玻璃会议室里，听两个95后架构师争论“是不是一定要用Pulsar替代Kafka”。他们推演容错路径的手势比我当年画UML还利索，其中一个女生用白板笔划拉出Stateful Function的生命周期图，另一人马上接上Flink 1.15的RocksDB增量checkpoint机制。我插了一句：“要不要留个兜底S3 Sink？”她看了我一眼，说：“老师，我们现在默认把sink当临时缓存用，最终一致性由下游应用自己兜。”我顿了顿，没再说话。窗外雨停了，但会议室那台松下投影仪右上角总有一小片绿斑，像霉点，擦不掉。

　　其实我去年五一期间根本没在西溪。我在绍兴老家给父亲修他那个二手iPad——屏幕碎得只剩左上角还能亮，显示时间。他想用它看本地新闻App的推送，但每次点开都卡在加载页。我连WiFi、清缓存、换DNS，最后发现是证书过期了，iOS系统拒绝握手。折腾俩钟头，最后靠重启设备硬刷出一页。他问我：“是不是跟当年你修那个‘天天网站’一样？”我说不是。天天网站是服务器宕了，这个是时间本身过了保质期。

　　说到天天网站……李锐呢？他早不做站了，听说去考了律师证，去年还代理过一起爬虫合规案。我翻过他微信签名，改成了“数据不是油，是水；抽干容易，养活难”。这话说得轻巧。可当年我们谁不是拿Logstash当抽水泵，往Elasticsearch里猛灌？灌完再用Kibana扒拉热词。一三年那会儿，最怕半夜告警，不是怕崩，是怕有人顺网线摸进来改dashboard数字。后来发现，真来改的人，早就不盯仪表盘了，直接进Flink JobManager REST API，把jobGraph里那个sum()算子改成max()——二二年七月有个case，客户发现日活曲线突然变成阶梯状上升，查三天才揪出这段代码。没留审计日志。我们删了作业重提，连同那行注释一起删干净：“防内部误操作，已上线。”

　　所以现在这套“五大实时计算技术要点”，我听着熟，又陌生。FlinkSQL算不算？Delta Live Tables算不算？Kappa+Changelog Stream算不算？它们都活下来了，但活法变了。有些技术没死，只是被吸进新名词的缝隙里，像一三年的Kafka，现在没人提partitioner策略，只聊topic schema演化；一七年的Flink CEP，现在叫“流式推理引擎”，但触发条件还是if-else套嵌套。优胜劣汰？对。但淘汰的不是技术，是用技术的方式。就像当年那台冠捷显示器，裂纹还在，只是没人再盯着它看了。

　　我现在管着三个实时链路组，但每次审批新作业上线，我还会多看一眼state backend选的是RocksDB还是Memory。明知memory扛不住故障恢复，可万一他们真只跑测试流量呢？上周五下午，运维老周给我发截图：某条Job的Checkpoint间隔自动从30s缩到8s，后台日志写着“detected rapid backpressure change”。我让他先别动，等我抽支烟。烟灰缸里堆着四根半截烟，风扇又开始响了——就是当年中关村那台，我搬回来的。现在这套我也拿不准还能干几年。

（编辑：均轻资讯网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!