辉哥一句话结论：BAT 这半年集体把 AI 预训练”推倒重来”，背锅的既不是算力、也不是架构，而是“脏数据”。这堂课上得有点血腥，但它是整个行业走向成熟的必经之路。数据，才是 AI 下半场真正的胜负手。
各位好，我是辉哥。干了 25 年 IT，评测过无数产品，今天用大白话给大家聊一件最近 AI 圈挺有意思的事——国内大厂扎堆”返工”，原因只有一个：给模型喂的教材，是垃圾。
一、大厂们怎么突然集体”返工”了？
简单说，大模型预训练就像教小孩读书。你给它的课本是脏的，它读出来的水平也高不到哪去。这半年，几家头部大模型公司扎堆做同一件事：把已经跑了一半甚至一年的训练推倒重来。
我做过测试，太懂这种”垃圾进、垃圾出”的痛了。看看这些翻车案例：
- 一家砸了一年死磕万亿参数的大厂，效果居然被 1% 规模的小模型倒挂，查来查去是脏数据拖后腿；
- 有的因为标注规则模糊、评测集被污染，进展一直卡壳；
- 有的数据受限撞了瓶颈，干脆重建数据团队从头来。
二、脏数据到底有多坑？
这有个特别典型的翻车案例，我给小白讲明白：一家中部基模公司，把从网上爬来的技术博客整批灌进训练语料。跑到训练中期，发现模型在评测集上开始”复读”——同一句话重复好几遍。团队定位问题才发现：里面相当一部分是采集站的机器生成页，同一个段落被重复了几万次。
结果几万卡时烧掉了，那一版模型只能作废。这种坑，行业里远不止一例。