DeepSeek有可能从ChatGPT蒸馏而得吗

晨枫

+ ]( @+ p+ K2 A% e* l+ k+ bDeepSeek在12月推出v3，已经够惊艳，超出预期。一个月后，推出R1，直接掀翻了AI的世界。
; s6 L: F# b- h1 R
" l! [5 E: w+ \; O3 V4 r: |当然，肯定有人要急着为DeepSeek找爹，“蒸馏说”就是这样产生的。

- u" K- J  b" L, R# j& U如果理解没有错误，“蒸馏说”是指DeepSeek以Chat GPT为参照模型，首先用大量的输入数据激励ChatGPT，得到输出，然后把这作为数据集，用于训练DeepSeek。

这节约了海量搜取原始数据的难题，也大大简化了语言信息的数据化工作。
3 R* W( D# Z; R* X8 O
这样的抄近路是有可能的。在工程上，模型降阶常常就是这么做的，但也是有条件的。

( T2 @5 O; e; |4 Q0 N这些都是小模型，输入的性质和数值范围都很明确，不管是“打格子”还是随机产生输入数据，都容易。而且有足够的数值方法可以保证“数据密度”，不会出现过分的疏漏。

但通用大模型没法这么做。首先是不可能确定ChatGPT的输入范围。或者说，那就是整个“已知人类公域知识”，有本事把这样的输入集搞齐全了，已经把Chat GPT的data scrubbing做完了。data scrubbing不知道怎么翻译，这是把公域数据全部梳理一遍，吸收进来，包括公开出版物和网络数据。
" u. R5 O3 f" |# `- X# M
6 i% G5 h1 g9 ]! P! s2 l0 R- ^也就是说，DeepSeek可以把自己的大模型“蒸馏”成小模型，但没法把别人的大模型“蒸馏”成自己的模型。

第二点是推理过程，这是DeepSeek有别于几乎所有主流大模型的地方，肯定是ChatGPT没有的地方。“蒸馏”只能是降低分辨率的复现，原来的模型没有的数据，“蒸馏”是变不出来的。做习题时直接抄答案，但老师要求写中间步骤，就抓瞎了。一样的道理。

第三点：DeepSeek在一些方面超过ChatGPT，这就更不可能从“蒸馏”中得到了。针对性加强可以解释，但如何确定针对性的范围又是一个问题。

, u7 W$ j/ K& F6 m% L4 \# ]' n最基本的一点还是第一点：DeepSeek不可能获得ChatGPT的原始输入集，没法“蒸馏”。

沉宝

DeepSeek以主流大模型为基础，但在具体算法上有很大的提升。打个比方，美国公司发现了事物可数性（从不数数到数数是动物进化到人的一个重要里程碑），但在具体数数时1、2、3、4，而DeepSeek呢，二五一十……

WiFi

微信转了DS论文的分析，小创新很多，把各个方面小创新组合起来得到奇迹般的结果意味着这些论文中列举的创新只是他们所有创新的一部分。不需要听一些人瞎BB

yanei

关于DS，我只看硅谷大佬评价和华尔街的真金白银。

孟词宗

不是从 ChatGPT 蒸馏的，但 DeepSeek R1 的确有几个官方蒸馏版。
2 b0 B) z$ g) \" F
: \; G8 L: v4 W7 J: \


从 Huggingface 的 DeepSeek R1 主页介绍(https://huggingface.co/deepseek-ai/DeepSeek-R1) 看，主要是结合了通义千问（Qwen，阿里的大模型）或 Llama （羊驼，Meta 的大模型）
' P3 W2 P. B% `4 m% I
7 C/ h5 M/ y: f1 D( _. F0 A从性能上讲，DeepSeek-R1-Distill-Llama-70B 在六项指标中有五项超过 GPT 和 Claude 的同类模型。而这个模型是可以在个人计算机/工作站的本地运行的。（当然，测试不是在 PC Workstation 上做的)。俺在 local 试了一下，除了文言文和作诗不如在线版本外，基本各项功能都不错。

/ t" ~4 a. j+ o3 l+ h% e