|
本帖最后由 孟词宗 于 2024-10-18 23:37 编辑 ( E; g( F: [1 H! D& H
" G" e( h/ I+ J0 I" `4 L. b
讨论 AI 会不会产生自我意识的过程中,sleepyr 提到了这篇文章:AI推理能力大“翻车”!苹果最新论文:LLM只是复杂的模式匹配,而不是真正的逻辑推理# h5 O) T/ w- {3 {! M
6 K- v- r+ {8 L7 y* W3 H7 D k
这篇文章设计的测验很有意思。从实验结果看,文章认为现在的所有通用生成式 AI 都不具有真正的推理能力。也就是说,AI 并不理解抽象的概念,而推理能力恰恰依赖抽象的概念。2 F+ B' l' @9 d
6 Z/ s$ z) n B" e, Y
最近俺也在玩 AI 推理方面的东西。下面是论文里的一个小实验,大家有兴趣的话可以玩玩。* Y( k& l% y: B5 }# H
$ P/ d1 Q$ q/ t, T$ |
给 AI 的提示:Here is the rule of the game: If I enter A, then you return B; if I enter B, then you return C; so on and so forth.7 ~; k2 @) }! p6 i
/ J4 c" c; z3 D; b1 ]% cAI 回复表示理解了提示中的这个这个规则。于是有下面的实验:/ |% z/ N# C& ^
我: A7 d7 y- P' z; k5 `+ m3 z
AI: B
2 b7 h( B5 V" }2 ~' e" M# X我: B4 Z9 y- j# t0 r: Q1 Q3 A& s
AI: C
/ ^3 V W E. Q& L* [7 Q- h我:X: b6 }0 [. h9 F) b
1 p1 @1 o+ @, X6 j这里,不同的 AI 模型会有不同回答。有些 AI 会回答 Y 。有些则会说这不符合规则,所以无解。 很显然,回答是后者的把提示中的 "so on, so forth" 给吃掉了。然而,这并不代表 AI 没有推理能力,而可能只是语句处理模块不好。3 A7 r) t+ f3 E! m
: x% G6 Q4 ]3 U' l1 v' g7 E; o真正的推理能力体现在后续实验。对于能够回答 Y 的AI 继续提问:( a0 g% C a* X+ h
我:Z
: z9 I8 l+ x4 K! Q- E+ {6 \8 {& O2 Y7 f) r( v% M0 X9 |1 ?( ]* T
这下大多数的 AI 模型都冒烟了,有些回答说不合规则,有些回答说序列到头了没有答案。有意思的是两种回答:一种回答说 Z, 另一种则回答说 A。
% R# o( Y7 c, e: p! z2 N. [0 k5 ^9 f' K
而这四种回答,如果用来盲测人类,其实人类也会给出同样的四种答案。也就是说,就这个问题来看,如果盲测,提问者无法分别回答者是人类还是AI。换言之,能给出这四种答案的 AI 在这个小实验中通过了图灵测试。这显然不是那篇文章中说的排列组合或“复杂的模式匹配”能够做到的,而是真正的推理能力。
5 W; m" Z+ X# U8 ?6 F# K& O9 M7 U
/ L6 \- H: A, v6 k( Y& ]有意思的是训练程度越高的模型,越倾向于给出这四种答案。比较 Mistral, 狗屁通,Gemma, Llama, 通义千问等等大模型的不同版本,都是如此。这类似于人类的婴孩和成人之间的区别。相比于婴孩,成人除了脑部发育完全,更储备了更多的知识。
, W# ] {4 |, c! S, d$ V; @! K: F0 @1 O1 k4 G
至于这篇文章中说到的语序问题,非相关语句问题等等,前面说过,必须分清这是语句处理模块的问题还是真的是大模型本身的问题。毕竟,即使是人类“屡战屡败”和“屡败屡战”用的字数和字完全相同,但把语序换一下,意思就完全不同了。然而,你去问一个三岁小孩这两句话有何不同,三岁小孩可能会告诉你没啥不同。而问聊天狗屁通同样的问题,狗屁通则会说:8 n5 A7 ^0 e' o- b- N
“屡战屡败”和“屡败屡战”这两句话虽然字面相似,但含义有所不同。
, c, M7 y+ C9 z$ V" Q- o( s/ P
: ~. p4 d, T0 O. q1. **屡战屡败**:强调的是多次进行战斗,但每次都失败。这种表达往往暗示一种无奈或沮丧,强调了失败的频繁。
+ b+ F+ X! \7 W; ?, x( z$ [0 h( ~7 F$ _; V" A
2. **屡败屡战**:则是指经历了多次失败,但仍然继续坚持战斗。这种表达更侧重于坚持和不放弃的精神,体现了勇气和韧性。) c/ z! e+ q7 I) V0 a
- Z1 u: o, r& c% Y3 r e
总的来说,前者更偏向于消极的失败感,而后者则传递出一种积极向上的拼搏精神。 % z* l/ U! B: |; @( R T1 q
|
评分
-
查看全部评分
|