V4 的技术报告刚发布，我就马上点开来看。其信息之多与广、技术之高深，几乎可以说是浩如烟海。 我感觉几个小时大概也就看完了两成，而这两成里可能也就看懂两成，彻底理解还需漫长的时间。

不过，新闻的价值在于“新”。我实在不好拖到明天再写这个回答，于是就把当前所有的一些感想先写出来。

以下我所说的，全是暴论。暴论的价值不在于其准确性高——实际上我觉得我说的话可能也就只有 5% 到 10% 的道理——但是因为它是非共识，它的价值还没有被发掘，因此听一听可能也有点意思。

评论区 @Namoe做的图，我给🇰🇷了 一、DeepSeek 不擅长炼丹 我这里要说的第一个暴论是：DeepSeek 可能在“炼丹”的水平上没有 Kimi 高。

我这里列举几个技术报告中让我觉得非常奇怪的处理。

首先，第一个令人不理解的操作，就是 mHC 里面这个 M 的做法。mHC 这篇文章也出来几个月了，它 HC 的思想其实很简单：把 residual stream 拓宽，这样使得层与层可以以任意形式向前传递信息，从而极大增强模型的表达能力。好，这一段本身是没有问题的。

有问题的是它这个 manifold 的处理。DeepSeek 发现，HC 因为没有限制前传时 scale 的变化，会导致梯度爆炸或者梯度 vanishing，因此需要某种方式去限制它的 scale。于是他们最终用了一个叫 manifold 的方法，也就是引入了 Sinkhorn。

然而这个同步器其实有不少问题。首先就是它不太“美”。就像后续有一篇文章 MHC Lite 里指出的，在 ill-conditioned 的矩阵上，即便迭代 20 次，Sinkhorn 也不一定能收敛到一个好的、接近 ground truth 的 probability distribution，这本身就会带来不小的误差。

同时，这个算法本身也比较慢。MHC 原文里说大概会增加 4% 的计算时间，这个成本其实不低。

更关键的是，因为“炼丹”本身就是玄学，任何额外的复杂度都会让 debug 变得非常困难。而另一方面，neural network 本身有很强的自动发现规律的能力，很多时候你并不需要人为赋予它过强、过复杂的表达结构。相反，只要给它足够的容量，它会通过不同矩阵之间的组合，自然地学到各种表达。

后来知乎上有人提出了一个更简洁的架构，叫 Identity HyperConnection。它的核心思路是：即便 hidden 变宽，在前传的时候仍然保持 identity。这一看就更自然，也更接近何凯明当年 residual network 的设计理念。

换句话说，我们只需要给模型更大的前传空间，而不需要去人为规定这些前传之间的语义变化——这些语义本身是没有必要手工设计的。你只需要给它更宽的“写入空间”，然后让每一层自己决定在每个位置写什么，就足够了。

所以，从这个角度看，MHC 的引入，其实给整个系统增加了不少不必要的复杂性。

第二个奇怪的点在于 Muon 的调参。

Muon 中，牛顿–舒尔茨迭代法背后调参的原理，其实在 PolarExpress 这篇文章中已经讲得很清楚了。它本身是存在一套相对明确、甚至可以说接近“最优”的调参方式的。

那么，除非你认为低精度训练会对这种迭代法产生比较大的影响，否则你在这两个首项的参数上使用两组不同的 coefficient，就显得有点没有道理。

我也不太清楚它背后是做了什么实验才得出这样的设置，还是说 V4 的训练其实发生在一个比较早的阶段，导致很多后来的、已经被验证更好的技术并没有被用上。

第三个奇怪的事情在于它对于 MoE 的处理。

首先，它说正常大家在训练 MoE 的时候，router 要么用 softmax，要么用 sigmoid，它这里选择另辟蹊径，用了一个 square root of softplus。

我其实一直有一个关于 MoE 最优 activation function 的猜想：最好的可能应该是 soft top-k。（此事在 kexue.fm 里亦有记载。）

然而，square root of softplus 这个东西，实在让人很难理解它背后的 intuition 到底是什么。

而且你只是改了这么一个局部设计，收益看起来有限，却给整个系统增加了不少复杂度，这个 trade-off 到底有没有意义，是值得怀疑的。

我们再往下看。

它提到 pretraining 的时候会训崩，然后他们找了很久原因，最后归因到 MoE，说是 MoE 和 router 的 interplay 会导致某些极大值的出现。然后他们提出了一个修复方法——这个方法你听着都会觉得有点匪夷所思：如果出现了 loss spike，就回退，用之前某个 checkpoint 的 routing decision 来继续训练。

但问题是，为了得到这个 routing decision，你还需要多做一次 prefill，这个额外成本大概是 20%。

首先，到了 2026 年还能把 MoE 训崩，本身就已经有点奇怪了，还会出现明显的 loss spike。其次，你在训崩之后用这样一种方式去修，成本其实不低——尤其是这个 20% 的开销。你通篇在讲一个神阶的 system design，真的能从别的地方抠回 10% 以上的效率吗？我其实是有点怀疑的。

当然，这个机制只是在出问题的时候才触发，所以平均成本可能是可控的。但更大的问题在于，这个 loss spike 很可能指向的是更底层的训练不稳定性，而不是一个局部可以简单修补的问题。

甚至可以再往前猜一步：会不会 V4 的发布时间有所推迟，某种程度上也和这个问题有关。

我要做一个猜想：有没有可能 MoE 训崩，就是因为前文用了这个 square root of softplus？

softplus 是 ReLU 的某种连续化，具体是 log(1 + e^x)。外边就算套一个 square root，它的值也是 unbounded。意思是说，如果我的 logit 增加，它的 gate value 也会跟着增加，而且是没有上限的。

这个就和传统的 sigmoid 和 softmax，以及我的猜想 soft top-k 都不一样。

它可能带来什么问题呢？当你的 gate 是 unbounded 的时候，如果某个 expert 很“喜欢”这个 hidden，那么，哪怕训练到很后面，也一直会有正的 gradient 进来，以继续提高这个 logit 的值。因此这个 gradient 就有可能一直 accumulate，直到这个 router 给爆掉。

当然，这些都只是猜想。

以上是我注意到的几个比较奇怪的操作。

当然了，既然是玄学，那我也不可能理解背后的一些原理。然而，从整体的做事风格上看，处理玄学，就与 DeepSeek 所擅长的处理 System 的原则，应该是完全不一样的。

这里的差别在于什么呢？

对于 System 的问题，复杂度往往是线性叠加，是可控的。我在前边改一个 Kernel，不会影响我后边某一个操作。同时，大部分优化带来的提升是可预期的。比如说，我写一个 Mega Kernel，我可以在写出来之前，就大致判断：我做这么极限的 Communication 和 Computation 的 Overlap，能带来多少收益。

然而，炼丹既然是玄学，那么——

首先，它的风险是不可控的，是不可预测的。每一件事都有可能好，也有可能不好，这只有跑大量的实验，才能微微体会到一点处理方法。

同时，它的风险不是被隔离的。也就是说，我前面改个 attention，有可能会影响我后边的 MoE；我改个 hidden，我改个某个 router，它可能又会影响 Muon 的计算——全都是 interplay。

那既然你没有办法隔离风险，风险就会随着优化数量指数提升。

那如何去处理这些可能的变化呢？唯一的办法就是跑 ablation。但 ablation 很快就会变成一个组合问题。本质上你唯一能够保证一个好做法的是做 grid search，而 grid search 所需的实验次数，也是随着你的优化数量指数提升。

因此，如果你对玄学有足够的尊重，你每一代模型最多也就用三个新技术。那三个新技术，做 grid search 是 n 的三次方，仍然是可控的；再高，我觉得是你有多少卡都跑不起的。

所以，这是否说明 DeepSeek 这家公司某种工程背景，就决定了它对于玄学不够尊重？

我想到一件事。之前我在写 MoE 的那篇 Expert Threshold 文章，写作和实验都大量参考了 DeepSeek 那篇非常著名的 Loss-Free Load Balancing。因为在我看来，这篇文章是 24–25 两年最重要的 MoE 论文，你甚至可以说它是唯一有意义的架构改动的论文。

我当时的想法是，既然这是最好的，那我就照着它来就行。比如说，它里面只测了了 Perplexity，而没有像正常的 pretrain 文章一样，把各种 benchmark 全部跑一遍。我就想，DeepSeek 都这么干了，那我也偷懒，我还比它多测个datacomp。

Loss-Free 的图，基本就是随便画的。我还是稍微花了一点心思,当然没有其他那些中稿论文的图那么精美，但我觉得，我都比 DeepSeek 画得好一点，这应该没问题。

结果投稿，分数回来，异常地低。我就不解，拿给我老板看。我老板问我参考的是哪篇文章，我说我参考 DeepSeek。

老板让我找loss free 这篇的openreview。一打开，三个reject，比我还低。

老板看了看文章，给了如下评价： 他说这个文章不管技术有多重要，从学术写作上来说就是不合格的。

第一，论文里甚至有语法错误；第二，图画得很随意；第三，该做的实验都没有做。

所以哪怕它是一个非常重要的技术，被拒也是应该的。它的影响力主要来自Deepseek。如果不是V3 用它，它也不会后来变成一篇出名的文章。

这是我当时对这件事的理解。

回过头来看，这件事可能正好标志了 DeepSeek 对“玄学”的某种不够重视。

为什么ML 三大会需要有那么多“故事”？需要那么多规矩，需要做 ablation study，需要做各种额外的实验？正是因为面对玄学，你必须非常严谨、非常谨慎，做很多 extra 的事情，才能对一个技术的有效性建立哪怕一点点的信心。

然而 DeepSeek 的文章里没有写这些，有可能就是它不在意。

Loss-Free 这篇文章因为 intuition 太好，可能是“撞上了”。但如果用同样的态度去做后面的玄学研究，就有可能犯很多错。

所以啊，玄学炼丹这件事情，别看我们天天嘲讽它，作为一家大模型公司，你还是得内部有这种“神赐手感”的人存在。

比如说，如果何恺明在 DeepSeek，他就不太可能允许mHC 的m 作为最终方案发表。他一定会在这里跑非常非常多的 ablation，最后把这个m 拆到最简洁的一种形态，才会满意。

而只有当你把它拆到最简洁的形态，才能确定它的风险是可控的，即不会显著增加系统复杂度，也不会在大模型训练里崩。

杨植麟在读博期间写过上万引用的论文，显然在炼丹方面是受过系统训练的。你甭管文章里“讲故事”、各种理论有没有道理，但实际上，有经验的人和没有手感的人去做判断，确实是有差别的。

更极端一点的情况，像 Alec Radford 或者 Noam Shazeer 这种手感更强的人，本身也是一种天赋。他们有时候也不一定完全说得清楚自己的架构为什么成立，但结果就是成立了。

于是我得出暴论，DeepSeek 可能缺少了这样的人。同时，它的组织方式，是不是也应该为了这种“玄学”，去做一些相对更保守的工程选择，而不是像它在system 优化上如此激进？ 二、产品端的缺失 产品端。在 DeepSeek V4 发布之前，我就预测它在 infra 和算法上会有非常多的黑科技，但是它作为一个模型、作为一个产品，不会表现得非常好，或者说不会比 Kimi、智谱和 MiniMax 做得好。

我是这么理解的：产品需要用户反馈，是不断迭代的产物。

比如 Anthropic 为什么做得好？因为它先搭了一个 Claude Code。这个agent 本身 is nothing magical，对吧？我认为所有的 Agent Harness 都是 nothing magical，Agent Wrapper 本身不会带来任何神奇的体验。

不过，当它在使用这个模型的过程中，获得了非常多的用户反馈、非常多的数据、非常多的实际见解，再把这些见解拿回训练组，说我们需要为此专门跑后训练，跑 RL、人工打标、收集更多数据。模型经过这样的训练，才能真正学会如何使用这种 Agent System。

也就是说，这是一个迭代的过程。先从 3.7 开始，在 3.7 上做了 Claude Code，Claude Code 的使用经验再拿去训练 4；4 训练完，再把使用经验拿去训 4.5 Sonnet；Sonnet再训 4.5 Opus；然后再到 4.6、4.7……哪怕是 Anthropic，也是经历了至少四五轮模型迭代和 Agent 产品的 co-design、co-optimization，才最终变成一个好用的产品。

那么 Kimi、MiniMax，还有智谱，也都对 Coding 非常重视，他们内部也是天天在迭代各种产品。

单说 MiniMax，从 2.0 到 2.1、2.2、2.5，再到今天的 2.7，这也是非常多轮的迭代。

如果 DeepSeek 真的很在意这件事，那么我们就不会只看到一个 3.2，至少也应该有 3.25、3.28、3.3，是不是？ 三、Learning Curve （学习曲线） 自 ChatGPT 出现起，我就一直在想一个问题：如何理解大模型的商业竞争的dynamics？我们应该以什么标准去看待一家公司到底会成功还是失败？

比如说，上一个时代是互联网时代。互联网时代，一家公司成功的根本在于规模效应、平台效应，或者网络效应。

也就是说，如果你的产品好用，它首先会病毒式传播；当你有了一个足够大的 user base 之后，整个平台的价值会随着用户数量增加。

就好像所有人都用微信，就算你不喜欢用微信，你也得用。

这个 dynamic 决定了它的分工体系，比如为什么要搞精益创业，为什么要有 product manager，为什么是快速迭代的周期，以及这些 high margin 是怎么来的。

然而，大模型到目前为止，没有展现出明显的平台效应。最直观的体现就是，用户忠诚度基本为零。

比如说，Anthropic 出了新模型，我可能就去用 Anthropic；OpenAI 出了新模型，我就转去用 Codex。用户是没有粘性的。

因此可以说，互联网时代的评判标准，在LLM 时代并不适用。

那么，我们应该以什么标准来考虑商业竞争的本质呢？

我愈发觉得，可以用 learning curve 来解释。

learning curve 这个思想，我是从台积电的创始人张忠谋那里看到的。他非常重视 learning curve，并将其运用到自己商业经营的方方面面。

具体来说，learning curve 本身很简单：一件事，干得越多，就干得越好。

然而它背后所带来的后果，是很多人没有思考过的。

假如我有一个产品，我卖得越多，我就会做得越好；做得越好，我的成本越低、质量越高（在半导体里，这里一般指的是良率）。我质量高、成本低，客户自然喜欢，就会给我下更多订单。而这些更多的订单，又会给我更多锻炼的机会，我的成本也会继续下降。

当时间足够长，这样的飞轮就会进入一个正向循环，使得最终我的优势变成其他竞争者无法匹敌的。

比如最明显的例子就是台积电。当 1985 年开始筹备、87 年正式成立的时候，台积电的技术并不领先，同时当时至少有几十家竞争者，还有很多半导体公司不用 FAB，而是自己生产芯片。

等到 90 年代或者 00 年代，竞争者可能只剩下 5 家左右；到 2010 年代，基本上就只剩下三星和英特尔两个竞争者。最近进入 2nm 时代，三星也逐渐跟不上了。于是它就变成了几乎所有芯片设计厂商的唯一选择，那么它的毛利率自然可以做到非常高。

然而，这种优势建立的周期，要远远长于互联网时代规模效应带来的垄断。就像我前面说的，台积电达到今天这种 dominant 的地位，花了足足 40 年；英伟达在显卡上的地位，也差不多是 30 年。

所以它的本质其实就是“熬”————连续熬几十年，把所有竞争者都熬掉，自然就成为赢家。

我猜想，大语言模型的发展也会遵循 learning curve 的规律。

具体而言，我们可以将训练视为研发 R&D，而将推理视为生产。我投入一定量的研发，然后我去生产，于是这个事情就能给我带来利润，带来营收，而我将营收的一部分拿来研发。

那么，决定一家厂商最终发展的一个很重要的关键就在于营收。

比如说，如果我像 Anthropic 和 OpenAI 一样，今年的年营收能达到 几百上千亿美元，我就可以拿出其中比如说 10% 来做研发，也就是上百亿美元的研发。

那如果你是一家小厂，你只有几个 billion 的收入，你同样拿出 10%，就只剩几亿美金，你就很难与更大的厂竞争，哪怕你的毛利润是差不多的。

那么何时决定胜利呢？

就是你的营收足够大，把所有竞争对手挤掉，同时每一代模型的研发成本不停地上升，上升到其他竞争对手、小厂都扛不住，那就剩你了。就好像今天台积电开发一代新的制程，投入的成本是几百亿美元，那么连三星和英特尔都拿不出这样的钱。或者说，就算拿出来这个钱，因为销量不够，投资也一定是亏损的。

在这种情况下，你才能够赢得正常竞争。

研发的费用，去年 OpenAI 是九个 billion，今年不知道，可能还要再往上涨。什么时候涨到其他厂都扛不住，可能就分出胜负了。

当然这里有几个因素决定了事情没有这么简单。

第一就是外部资本的存在。

现在没有厂是纯拿营收中的利润来进行研发，都是拿风投的钱。

而风投的钱就有点 arbitrary。假如我这家厂没有任何的积累，我通过巨大的投资、外部投资，是不是也可以拉近某些差距呢？

当然好像也不一定是风投，这更像是大厂的行为，比如说小米，比如说美团，比如说 xAI，但 xAI 现在好像有别的问题。

第二点，目前为止，我们观察中国公司，仍然能够使用每年只有几亿美元的研发成本，达到接近 OpenAI 一百亿美金研发成本所达成的效果。

当然这里有一个滞后，这个滞后大概是三到六个月。

竞争对手花很大的价钱训出一个新模型，我是可以蒸馏的。

那既然这个 gap 能够省几十倍的钱，那是不是这里还有一些需要考虑的细微差别？

假如我的假设成立，我们就从 learning curve 的角度回过头来看 DeepSeek。

或许可以做出一个猜想：去年 DeepSeek 没有融资，可能是个极大的错误。

没有融资，就不能扩产；不扩产，你就没有用户，也就没有营收。没有营收呢，当然啊，现在是梁文峰自己掏腰包嘛，但是如果未来你没有营收，你就没有足够的钱去搞研发。

哪怕你的文化再好、这个团队再强，如果你的竞争对手拿十倍的钱来挖你的人，最终还是会挖走相当多的一部分，对吧？

最近也有传闻，说有几个核心合作者已经去字节了，也有的去小米、腾讯都有。

当然啊，梁文峰的问题在于，融资至少在 25 年这个时间，也没有办法换成算力。

它也没有办法像字节一样走私非常多的英伟达显卡。

当时的华为卡应该也非常难用，买了好像用处也不大。

同时，大模型研发还有个区别，在于如果你的人数超过了三五百号人这个坎儿，整体组织的效率会大幅下降，因为你的沟通成本会上升。同时，组织必须有结构，那么各种官僚主义之类的事情也会出现。

也就是说，理想的团队规模，哪怕你有无限的钱，可能仍然是三五百人。

因此，雇佣更多的人意义不大。但你说如果融来更多的钱，给当前的研究员涨工资，难道这事没有帮助吗？应该还是有帮助的。

learning curve 同时决定了产品，或者说客户的关系。为客户服务，才是决定一家哪怕是纯技术公司未来能否发展的关键指标。

比如说，台积电的文化就非常强调客户优先。客户优先是排在技术领先之前的。也就是说，它先满足了客户优先这个需求、这个要求，它才有足够的营收，才有足够的毛利润，才有钱拿来做研发。

然后，当你研发的钱够大了，你才能实现技术领先。

所以，台积电实现技术领先，已经是 2018 年 7 纳米的时候，这离它成立已经过去了 31 年。

DeepSeek 纯做技术，似乎不够重视诸如 Coding Agent、各种奇怪的 Agent，什么用户比如说要求它有多模态啊，类似这种事情的需求。

我更担心的，是它会不会没有建立这么一套文化，整个组织不重视这件事。

那么，它真的能打赢这场马拉松吗？

DeepSeek V4 自己的公众号结尾说了这样一句话：

“不诱于誉，不恐于诽，率道而行，端然正己。我们将始终秉持长期主义的原则理念，在尝试与思考中踏实前行，努力向实现 AGI 的目标不断靠近。”

这里我想强调的就是这么一个反直觉的判断：坚持技术的探索，是真正的长期主义吗？

如果你相信 The Learning Curve，那么服务客户，尽量扩大 revenue 的同时保持技术领先、追求技术领先，才是正确的做法。服务客户是在技术领先之前的。

DeepSeek 想要成为什么样的公司呢？它想要成为一个Bell Labs 吗？Bell Labs 最后活下来了吗？它还是想成为仙童，或者半导体史上那些技术领先、但最终消亡的公司吗？ 以上内容，纯属个人猜想，各位就当我胡说就好。