记录 - 爱吱声 - Powered by Discuz!

大黑蚊子: 关于国产开源大模型的蒸馏问题一直没断过。我就问个问题，O/A两家怎么没有跟DS/GLM尺寸相仿但性能明显胜出的模型？自己蒸馏自己都整不明白嘛？

大黑蚊子: 要么说明蒸馏不是性能提升的核心要素，要么说明这两家连无限制蒸馏自己都整不明白。好像他们蒸馏小模型的base model用的是Qwen？ (10-18 15:03)
孟词宗: 蒸馏这玩意儿一般是小的蒸馏大的。而DS/GLM的一个明显趋势是尺寸越来越大，尤其是GLM。至于尺寸相仿性能超过大模型AOG都是有的。 (10-19 03:01)
孟词宗: 中美相互蒸馏这事并不是什么秘密，行业内都知道。也就是A店老是拿这个做文章而已。毕竟A店起家就是靠这个。就像赵宋，老怕别人也来个陈桥兵变。 (10-19 03:03)
大黑蚊子: 老美闭源模型其实都不用蒸馏，直接抄DeepSeek的论文就得了 (10-19 11:45)
孟词宗: DS论文只是构架和算法。具体到训练还是不一样的。蒸馏最大的好处是在训练上。只需 12.5% 左右的数据量就能达到甚至超越传统全量微调的效果。 (10-19 23:48)
孟词宗: 中美互相蒸馏的一个恶果是明显同质化。G家的现在说话和豆包一个味儿，O家的故作一本正经和月家一样，A家和月家、MiniMax也非常接近。 (10-19 03:06)
孟词宗: Grok倒是奇葩，啥都能写，完全就是DS的百无禁忌版 (10-19 03:07)

前天 15:02 回复|

GMT+8, 2026-10-20 08:59 , Processed in 0.034726 second(s), 9 queries , Gzip On.

Powered by Discuz! X3.2

		自动登录	找回密码
密码			注册


还可输入 200 个字符