1 E/ t7 W4 h+ J这节约了海量搜取原始数据的难题，也大大简化了语言信息的数据化工作。. C% ^! K; _: A: I+ x! O
& Q) j7 y1 e+ n2 q/ Z
这样的抄近路是有可能的。在工程上，模型降阶常常就是这么做的，但也是有条件的。2 u+ c2 Z( `, K
V# T: z+ N# u; b这些都是小模型，输入的性质和数值范围都很明确，不管是“打格子”还是随机产生输入数据，都容易。而且有足够的数值方法可以保证“数据密度”，不会出现过分的疏漏。 : ]) E5 x2 d0 o8 q. u; U$ T/ L' u- S8 }4 l
但通用大模型没法这么做。首先是不可能确定ChatGPT的输入范围。或者说，那就是整个“已知人类公域知识”，有本事把这样的输入集搞齐全了，已经把Chat GPT的data scrubbing做完了。data scrubbing不知道怎么翻译，这是把公域数据全部梳理一遍，吸收进来，包括公开出版物和网络数据。 , B! v. b- i; |4 ~2 B% @% K# y: c1 ?1 u; b. b: X: `: U6 d
也就是说，DeepSeek可以把自己的大模型“蒸馏”成小模型，但没法把别人的大模型“蒸馏”成自己的模型。) _ e$ s9 _3 |. e5 p w& A7 Z
4 B' z( a" l r; q/ Y第二点是推理过程，这是DeepSeek有别于几乎所有主流大模型的地方，肯定是ChatGPT没有的地方。“蒸馏”只能是降低分辨率的复现，原来的模型没有的数据，“蒸馏”是变不出来的。做习题时直接抄答案，但老师要求写中间步骤，就抓瞎了。一样的道理。: Q8 b. e. n1 k, o# ^& {
9 M' {$ ? T2 F* U第三点：DeepSeek在一些方面超过ChatGPT，这就更不可能从“蒸馏”中得到了。针对性加强可以解释，但如何确定针对性的范围又是一个问题。; H% H; c( `( `9 ]9 I. j% C
