踩过37个服务器机柜的坑:工厂算力调度不是堆GPU的游戏

去年深秋在苏州的汽车零部件厂蹲点,刚下夜班的工艺工程师抱着保温杯跟我吐槽,说花了近两千万搭的数字孪生平台,白班跑生产排程的时候卡得连3D模型都转不动,夜班跑刀具磨损仿真的时候,进度条走一小时能卡半小时。我上去一查——32台GPU服务器的资源调度规则,居然是照着互联网公司的云原生方案抄的,连个实时资源隔离的配置都没做。

我当时看着那个卡成幻灯片的数字孪生大屏,真的想把当初给他们做方案的厂商拉过来看看。这哪是数字孪生,这是数字卡壳。

别拿互联网云调度的逻辑硬套工厂场景

互联网的算力调度核心是弹性,流量来了就扩,走了就缩,哪怕延迟高个几百毫秒,大不了用户多刷两秒页面,不会出生产事故。工厂不一样。硬实时域的资源独占原则是写在行业规范里的硬要求——按照GB/T 33863.3-2017的规定,连接PLC、传感器的工业实时采集链路,端到端延迟必须控制在10ms以内,丢包率不能超过0.1%。

之前有个照着互联网云调度逻辑搭系统的机械加工厂,把实时采集PLC数据的容器和跑批量表面质检AI模型的容器放在同一个物理节点上,一到白班质检模型启动批量推理的时段,采集链路直接因为CPU抢占丢包,整整停了22分钟的生产线,算下来光产能损失就超过70万。

疼。真疼。

离散制造车间实时采集链路延迟要求拓扑图
离散制造车间实时采集链路延迟要求拓扑图

我们后来给他们改方案的时候,直接把整个算力集群拆成了三个物理隔离的资源池,根本不搞什么跨池的弹性抢占。第一类就是硬实时域,所有接现场设备的采集进程,全部绑定独占的CPU核心,连中断亲和性都手动调了——把网卡的硬件中断固定分配给对应的核心,不让其他进程抢这部分的算力。别不信。光调这部分配置就花了3个通宵。

第二类是软实时域,跑车间大屏渲染、数字孪生实时同步的业务,延迟要求控制在100ms以内,可以在池子里做弹性调度,但永远不许碰硬实时域的核心资源。第三类是非实时域,专门跑夜班的工艺仿真、模型训练、历史数据回溯这类没有严格延迟要求的任务。

算力调度的核心不是“匀”,是“留余量”的权衡

很多人对算力调度的误解,是要把所有服务器的资源利用率拉到100%,觉得闲置就是浪费。错了。工厂里的生产任务从来不是按固定节奏来的——可能上午刚开完早会,就发现某批次的零件公差超差,要紧急跑全量的历史数据回溯,还要联动排程系统调整后续3天的生产计划,这时候如果之前把算力全占满了,根本腾不出资源处理紧急任务。

我们现在给所有合作的工厂设的硬规则,就是75%的资源占用安全阈值。任何时候,所有算力池的整体利用率超过这个数,系统就自动把低优先级的非实时任务挪到闲置的备用节点上,留出至少25%的算力当缓冲。之前试过90%的阈值,一次突发的刀具断裂检测任务,直接把整个调度集群搞雪崩,花了40分钟才恢复。

说出来你可能不信,我们之前做过全行业的调研,工厂里的算力平均闲置率是62%——白天非实时任务全歇着,晚上实时域的资源全空着,就这么两边凑不到一块,白白浪费了快一半的采购成本。调度系统要做的,就是把这部分闲置的资源盘活,但绝对不能为了盘活把安全余量给占没了。

工厂三级算力资源池错峰调度时间轴示意图
工厂三级算力资源池错峰调度时间轴示意图

别被“全栈AI调度”的概念忽悠了

这两年好多厂商上来就吹,说自己的调度系统靠大模型能算出最优的资源分配方案,比人工调的效率高30%。我去年特意拿测试环境跑了某头部厂商的AI调度模块,给的方案是把所有非实时任务都排在凌晨2点到4点跑,结果赶上车间夜间固定的设备点检时段,采集系统本来就占了20%的资源,直接把仿真任务跑崩了,算出来的刀具寿命偏差了12%,差点给车间报了个错误的换刀计划。

说实话,我现在对那些吹得天花乱坠的AI调度模块一点好感都没有。你连车间的换班时间、设备点检周期、季度的大检修计划都摸不清楚,拿什么给我算最优调度?工厂的调度规则根本不需要什么复杂的大模型,把几个硬逻辑列清楚就行:硬实时域的资源永远不许被抢占,软实时域最多能借30%的非实时域资源,非实时任务的优先级直接跟着生产工单的紧急程度走。

基于生产工单优先级的调度逻辑,比那些飘在天上的AI算法靠谱多了。我们现在给现场用的调度系统,根本没做什么复杂的可视化大屏,就是给每个生产班组配了个简单的权限按钮:哪个任务要紧急跑,班长点一下,系统自动把优先级提上来,30秒内就能把对应的算力资源腾出来。之前有个在车间干了快30年的老班长,第一次操作的时候说,这比之前那个要输好几条命令的调度系统强10倍。

做了这么多年工厂的数字化项目,最深的体会就是,工厂算力调度从来不是什么高大上的技术命题。说白了就是把钱花在刀刃上——别买了一堆GPU回来,一半时间在积灰,一半时间在抢资源。好的调度系统从来不是追求技术上的完美,是能真的帮车间少停一次线,少浪费一点采购成本,少让工程师熬几个通宵调参数。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:踩过37个服务器机柜的坑:工厂算力调度不是堆GPU的游戏
文章链接:https://m.yqhljx.com/list_9/4737.html