日志
大模型的幻觉是坏事吗？
热度 29 |
很快，大家象互联网时代不可缺搜索引擎一样离不开大模型了，它也打碎了我原来想做智能搜索引擎的梦想(基于内容的语义搜索)，但大模型比我设想的语义搜索更厉害的是：我语义搜索可能也只是从语义上检索出用户想要的东西，也只能以原有资料或原有资料片断呈现给用户；但大模型不然，它直接回答你想要的内容，而且以非常自然的语言表达出来。带来的问题就是大模型在Transformer数据时，在生成回答的概率引导等等过程中，会产生不符合逻辑的“幻觉”，于是，很多人觉得大模型可怕，导致伦理问题、安全问题作为人工智能发展的限制条件。
对于求知欲不高，通过大模型应付事的人而言，这些当然可怕，但如果你知道大模型的一些基本原理，认真细致工作的朋友们，幻觉现象我觉得不可怕，不但看成大模型的副产品，在使用过程中深入思考一下是否是真的这会事，更重要的可以作为创造性工作的源泉。
这点，与我们人脑在无意识情况下信息加工的设想有类似之处，譬如说“顿悟”现象，在正常的思维活动，正常的逻辑分析下，突然对事物的感知有一种超脱的状态，新的设想、新的方法如泉涌般冒出来。这就是你平时对想解决的问题大量思考，大量案例参考，形成了“Transformer”般的杂交，
，从而形成了某种“幻觉”。又譬如，我们在睡眼惺忪的时候，说不定也会有新点子，新设想突然冒出来，这往往是人类在休息时，大脑处于放松状态，放松就是各个脑区自我控制，自我运行。神经细胞之间的物理过程，细胞间突触生长与抑制自我调节，化学过程各类化学介质在神经细胞之间传递产生电平衡等等，这些过程可能使得我们在下意识状态下产生新的假设和方法。所以，与人类可能诞生的创新思维的过程一样，说不定大模型的幻觉也是人类重要创新的源泉。
，从而形成了某种“幻觉”。又譬如，我们在睡眼惺忪的时候，说不定也会有新点子，新设想突然冒出来，这往往是人类在休息时，大脑处于放松状态，放松就是各个脑区自我控制，自我运行。神经细胞之间的物理过程，细胞间突触生长与抑制自我调节，化学过程各类化学介质在神经细胞之间传递产生电平衡等等，这些过程可能使得我们在下意识状态下产生新的假设和方法。所以，与人类可能诞生的创新思维的过程一样，说不定大模型的幻觉也是人类重要创新的源泉。故，大模型的幻觉不可怕，可怕的是使用它的人类无原则的依赖它，对有准备的人类不但不可怕，还是我们走向更高思维阶层的有力助手。
全部作者的其他最新日志
发表评论 评论 (13 个评论)
- 回复 孟词宗
- 生成式 AI 最大的毛病是回答精度不高，有时候胡编乱造，同样的问题问几次回答都不一样，等等。最著名的例子就是那个 9.8 和 9.11 哪个数字更大。这个bug， 直到 R1 出来才算修复了，其他 AI 包括 DS v3 在内, 直到2月初还经常回答 9.11 大。 问题这只是一个已知的 bug， 是不是还有其他 bug？大家都不知道。不过已知的还有马保国用 AI 查 USAID，搞出个不存在的5千万避孕套送加沙，还把8百万搞成了80亿。
目前的技术条件下，让生成式 AI 搞低精度、责任不重大的东西没问题。但要求高精度，高责任的项目则不适合生成式 AI 。生产乙烯的化工厂可是要求极高精度的地方。万一出个差错就要造成重大事故了。
所以生成式 AI 作为辅助可以，但不能依赖。
- 回复 nanimarcus
- 甘蔗哪有两头甜了，人盯着点不就解决了吗。
- 回复 semtex
- 这个应该是，如果真的精度高了，咋办啊？
孟词宗: 生成式 AI 最大的毛病是回答精度不高，有时候胡编乱造，同样的问题问几次回答都不一样，等等。最著名的例子就是那个 9.8 和 9.11 哪个数字更大。这个bug， 直到 ...
- 回复 马鹿
- 不收敛， 发散了。。。
semtex: 这个应该是，如果真的精度高了，咋办啊？
当年上优化那门课， 要交程序了， 为了完美，我把误差设置的太小了， 发散了。。。更不完美了。。。 那是坏了。。。
- 回复 水风
- 妖道来泼泼凉水。有个现象，叫做幸存者偏差。所以，你能看到的基本都是最好的，因为那些不要说差的，就是稍微差一些的，都已经坟头草几丈高了。
人人都做梦，天天做梦。可以数的过来的梦中的幻觉推动科学和社会进步的事迹，两个手就够了。
理论上，给猩猩一台打字机，可以打出一整部莎士比亚全集。但在实际上的可能性有么？
大模型的幻觉，绝对是溃堤千里的的那第一个蚂蚁窝。如果不能及时控制的话，那么将来大模型的结果，都会成为幻觉。因为人类认知的基础是常识和公理，而大模型的认知基础是训练数据的正确与否。出现了第一幻觉，就说明了在主流舆论或者是训练数据中，存在着谬误。就好像是坏了一锅汤的那颗老鼠屎。我在三傻里面讲过，这种幻觉，或者谬误，是可以传染的。所以浓眉大眼的GROK几天就被带坏了。而一旦带偏了之后，再想拉回来，那可就麻烦大了。
- 回复 testjhy
- 大师，你这个观点不敢完全苟同，1、大模型不会对我优化，我看到的也是大家能看到的，不会是最好的。2、训练数据中存在谬误是会有的，但不会太多，一般训练数据还是会标注或检查的，漏网之鱼肯定有。3、训练数据会有价值观的问题，就象土共这边和美国那边对一些事物的褒贬不一样。
水风: 妖道来泼泼凉水。有个现象，叫做幸存者偏差。所以，你能看到的基本都是最好的，因为那些不要说差的，就是稍微差一些的，都已经坟头草几丈高了。
人人都做梦，天 ...
-------------------------------------------------------------------------------
我考虑更多的是大数据非线性学习，会不会映射到我们平时线性(逻辑)思维不可能想到的东西，
- 回复 水风
- 教授，感觉我没有讲清楚。
testjhy: 大师，你这个观点不敢完全苟同，1、大模型不会对我优化，我看到的也是大家能看到的，不会是最好的。2、训练数据中存在谬误是会有的，但不会太多，一般训练数据还 ...
1. 幸存者偏差指的是“人脑在无意识情况下信息加工的设想有类似之处，譬如说“顿悟”现象”。不是说的你看到的大模型数据。顿悟之所以被传颂，就是因为其罕见性。要是人人有，天天有，时时有，那就不会有谁对此感兴趣。
2. 训练数据中的谬误比例对于整体而言是微不足道的。但对于某些专业性的，顶尖的前沿的数据，错误率非常大。这个不能怪训练数据，因为我们本身的认识过程就是如此。SCIENCE, NATURE一向是用来发现具有普遍意义的大发现的。根据某些学者的回溯追踪，完全正确的比例非常少。具体数值就不放了，因为大家的取样不同，学科不同，差异也比较大。但我们发现的初始，总会有这样那样的错误。而随着研究的深入和推广，越来越多的人加入进来，对开始的研究不断的纠错，补充。这才是我们学习的一个过程。
这个无论是纠错，还是检查标注，在发生的初期都是不现实的。除非去回溯。但我们对于大模型需求最大的，恰恰就是这些新兴的研究和知识。等过去十年二十年，教科书都出了若干版了，谁还需要AI来给我们总结？
3. 我现在越来越感觉到大模型的纠错机制的缺陷是非常大的。现代西方的科学体系，都是有前提，有着具体的限定的，而绝大多数的模型并没有意识到，或者研发者们就没有考虑到这些前提和设定的重要性。加上我们语言的不确定性，所以，就导致了大量的幻觉出现。
4. 你说到的“大数据非线性学习，会不会映射到我们平时线性(逻辑)思维不可能想到的东西，“这个我就不了解了。现在的大数据学习的的算法比我当初学到那些浅薄的东西一定是进化了很多了。但如果不是我们理性思维 （我对于逻辑思维这个词还是非常谨慎的，尤其是看完了罗素在试图用数学来界定逻辑的失败后）能够想到的，那么要么这东西是非理性的（比如说幻觉），要么就是错误的。
还有最后一个非常微小的可能性，就是我们局限于碳基生命以及遗传密码的局限性，没有想到的一个新的思维方式。之所以说是非常微小的，是因为我们目前的逻辑和理性思维体系已经发展了几千年了。就像任何一个在人体内发生的有益突变一样，在生物发展的早期，还是很常见的，随着系统的复杂性的增加，这种有益突变的发生概率从常见，到罕见，到极为罕见，到几乎不可能。这也是为什么，恐龙晚期时代，发生了超级进化时代，在最后几百万，甚至几十万年里面进化出了远超之前几亿年的进化成果。但终究还是敌不过哺乳动物的兴起，除了鸟类这一只以外，全军覆没了。