% w. Y: O( M1 s* y 8 e0 S4 M6 a' _% Q, Q$ f* |& F我的看法是,要深入理解生成式AI的工作原理,核心问题在于调和其开放式的输出行为与回归式的底层设计之间的关系。在经典自动控制理论中,系统的首要目标是稳定与收敛。其工作模式是通过闭环负反馈,使系统的状态不断“回归”到一个固定、全局的设定点,任何导致轨迹发散的开放式行为都意味着失控,是必须被抑制的。但是,大语言模型(LLM)虽然在宏观上表现出这种开放性,其微观的运作机制却恰恰是回归式的。在生成文本的每一步,模型都会执行一次“自回归”计算,即根据已经存在的文本序列,通过回归分析来预测出概率上最合理的下一个词元。4 F. D. [9 M! G2 ?& n' T* j
9 G- \0 m; t4 s' {$ f
这一看似矛盾的现象,其关键在于“回归”所指向的目标截然不同。控制系统的回归目标是静态且唯一的,它像一个强大的引力中心,将所有系统状态都拉向它。相比之下,大语言模型的回归目标则是动态且局部的。当模型生成一个新词后,这个词立刻成为新的上下文的一部分,从而彻底改变了下一次回归计算的起点和目标。模型并非要回到某个初始状态,而是在不断变化的语境中,持续地向下一个最符合逻辑和概率的“瞬时目标”前进。) A, h4 ` S! ^8 C
* i5 y. C. |1 x传统自动化系统中的变量的数量一般都是有限,容易写出基于规则的代码。在开放道路上开车的变量就太多了,这也是为什么完全自动驾驶这么难的原因。我觉得端到端的自动驾驶并不追求百分白不出问题,这个是个不可能的任务。它的目标是超过路面上99.99%甚至99.9%的司机就可以了。这个我觉得这个目标通过现在的训练方式应该是可以实现的,毕竟训练数据是经过筛选的,甚至是定制的。发现AI学习了错误的驾驶习惯,把这样的视频从训练数据里剔除就行了。只要达到这个目标,保险公司肯定会提高不使用自动驾驶的司机的保费。到时候人类自己开车反而会变成一种奢侈的娱乐活动。