|
|
本帖最后由 晨枫 于 2025-1-28 17:57 编辑 6 ? v g8 n& T- v0 a3 Z
. R1 B$ X; e# g. }5 h
DeepSeek在12月推出v3，已经够惊艳，超出预期。一个月后，推出R1，直接掀翻了AI的世界。. Q/ z5 R% l8 D& ]2 O7 b
2 g" [# ?4 i8 o o
当然，肯定有人要急着为DeepSeek找爹，“蒸馏说”就是这样产生的。
; M" m( I. U' e& j- j+ `( [7 A; \" q$ I* [
如果理解没有错误，“蒸馏说”是指DeepSeek以Chat GPT为参照模型，首先用大量的输入数据激励ChatGPT，得到输出，然后把这作为数据集，用于训练DeepSeek。9 `( x S0 W$ i; ?. J# i
% x" X/ |5 Q1 Y0 C; p" |这节约了海量搜取原始数据的难题，也大大简化了语言信息的数据化工作。6 ^; w; ~* ]4 { @. c" Z
4 s r& P M; Y7 f2 O# d" i$ \( k9 C
这样的抄近路是有可能的。在工程上，模型降阶常常就是这么做的，但也是有条件的。
0 O) R8 g4 V5 A$ |4 |4 u% i2 ?1 ]9 l. M7 I3 r* s# }
这些都是小模型，输入的性质和数值范围都很明确，不管是“打格子”还是随机产生输入数据，都容易。而且有足够的数值方法可以保证“数据密度”，不会出现过分的疏漏。- s% x. c8 q0 `7 ~5 }
) I9 H2 ~+ H) c; A5 \6 G但通用大模型没法这么做。首先是不可能确定ChatGPT的输入范围。或者说，那就是整个“已知人类公域知识”，有本事把这样的输入集搞齐全了，已经把Chat GPT的data scrubbing做完了。data scrubbing不知道怎么翻译，这是把公域数据全部梳理一遍，吸收进来，包括公开出版物和网络数据。$ u- A5 ^- ] y; c. b3 X* v
* m; a1 {& G5 P7 _2 k也就是说，DeepSeek可以把自己的大模型“蒸馏”成小模型，但没法把别人的大模型“蒸馏”成自己的模型。! x! x8 f/ Y/ T! w
* }/ O, W) |% k* ?& E第二点是推理过程，这是DeepSeek有别于几乎所有主流大模型的地方，肯定是ChatGPT没有的地方。“蒸馏”只能是降低分辨率的复现，原来的模型没有的数据，“蒸馏”是变不出来的。做习题时直接抄答案，但老师要求写中间步骤，就抓瞎了。一样的道理。- s7 f, `; n% ?+ [) a" F) e
6 t0 \- m, a$ g% y" I# x+ R
第三点：DeepSeek在一些方面超过ChatGPT，这就更不可能从“蒸馏”中得到了。针对性加强可以解释，但如何确定针对性的范围又是一个问题。# n4 |, E. _. } A
# _- I) l/ x0 s, }( i3 S8 {
最基本的一点还是第一点：DeepSeek不可能获得ChatGPT的原始输入集，没法“蒸馏”。 |
评分
-
查看全部评分
|
雷达卡
楼主
收藏
分享
淘帖
支持
反对
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
抢沙发
千斤顶
显身卡
发表于 2025-1-29 02:59:15
