爱吱声

标题: 生成式 AI 有没有推理能力？ [打印本页]
作者: 孟词宗    时间: 2024-10-18 23:36
标题: 生成式 AI 有没有推理能力？
本帖最后由 孟词宗 于 2024-10-18 23:37 编辑 : ^3 j9 [3 l$ q
, Z  C: B6 K" Q; V; f6 C
讨论 AI 会不会产生自我意识的过程中，sleepyr 提到了这篇文章：AI推理能力大“翻车”！苹果最新论文：LLM只是复杂的模式匹配，而不是真正的逻辑推理
7 z% @. g- Y# M8 t& ]( E( F4 l) r' L- G& C0 r& J# E1 z2 i
这篇文章设计的测验很有意思。从实验结果看，文章认为现在的所有通用生成式 AI 都不具有真正的推理能力。也就是说，AI 并不理解抽象的概念，而推理能力恰恰依赖抽象的概念。9 C1 l) Y2 L, r$ p0 s$ U3 D

- [5 B) C5 p4 T' F: V最近俺也在玩 AI 推理方面的东西。下面是论文里的一个小实验，大家有兴趣的话可以玩玩。
' B! Q% Z4 |  p0 `' s
$ s6 [6 r: X3 L! ^# _( {+ `1 p% C6 i给 AI 的提示：Here is the rule of the game: If I enter A, then you return B; if I enter B, then you return C; so on and so forth.: b5 ~& e* p. A) i
0 Y0 K* n8 d+ o% G5 ]/ z6 |1 |
AI 回复表示理解了提示中的这个这个规则。于是有下面的实验：% y6 n( O3 |5 @9 g! G; ~
我:  A
; M) c: n9 R4 H& j, x& qAI:  B* v4 \, }& S1 h: ~7 e3 R
我:  B: g2 p2 n& i) \0 F9 e
AI:  C
  s" u7 J% p! |0 r9 L7 |. f0 q我：X
& O, q1 s1 U0 h6 T. x8 t: Y9 r1 a( t3 v0 }+ n7 [3 G$ x  V! Z
这里，不同的 AI 模型会有不同回答。有些 AI 会回答 Y 。有些则会说这不符合规则，所以无解。  很显然，回答是后者的把提示中的 "so on, so forth" 给吃掉了。然而，这并不代表 AI 没有推理能力，而可能只是语句处理模块不好。. f8 t- i, y! d: W3 T& |4 T

6 t% F- _" n3 D0 v' B! B真正的推理能力体现在后续实验。对于能够回答 Y 的AI 继续提问：# Y* h7 \- ?2 ^  X
我：Z  C9 X& k9 i% Q8 ~: C/ C& @
6 M+ p% n' o3 T/ Z0 J
这下大多数的 AI 模型都冒烟了，有些回答说不合规则，有些回答说序列到头了没有答案。有意思的是两种回答：一种回答说 Z， 另一种则回答说 A。
0 c" K9 @% d0 U# B0 y# f  I( P6 F$ Z9 y' w7 k8 ^" z0 k9 x4 G, `' ]8 }
而这四种回答，如果用来盲测人类，其实人类也会给出同样的四种答案。也就是说，就这个问题来看，如果盲测，提问者无法分别回答者是人类还是AI。换言之，能给出这四种答案的 AI 在这个小实验中通过了图灵测试。这显然不是那篇文章中说的排列组合或“复杂的模式匹配”能够做到的，而是真正的推理能力。9 m8 k9 Q1 o5 Q0 U2 L4 x) L( E

3 i: ^' E0 v+ m, o有意思的是训练程度越高的模型，越倾向于给出这四种答案。比较 Mistral， 狗屁通，Gemma， Llama， 通义千问等等大模型的不同版本，都是如此。这类似于人类的婴孩和成人之间的区别。相比于婴孩，成人除了脑部发育完全，更储备了更多的知识。
! C  {( X) L& @, V2 g/ Z) b% O! j$ p3 f! p
至于这篇文章中说到的语序问题，非相关语句问题等等，前面说过，必须分清这是语句处理模块的问题还是真的是大模型本身的问题。毕竟，即使是人类“屡战屡败”和“屡败屡战”用的字数和字完全相同，但把语序换一下，意思就完全不同了。然而，你去问一个三岁小孩这两句话有何不同，三岁小孩可能会告诉你没啥不同。而问聊天狗屁通同样的问题，狗屁通则会说：/ x4 A# Q% ]9 J3 U2 \+ \7 u+ y
“屡战屡败”和“屡败屡战”这两句话虽然字面相似，但含义有所不同。
# h4 o/ ]9 ^9 B8 N3 U+ I
. u. U4 t1 _9 U3 C& a1. **屡战屡败**：强调的是多次进行战斗，但每次都失败。这种表达往往暗示一种无奈或沮丧，强调了失败的频繁。
5 Q) @8 h  q! c
6 n3 M; i! s) k- e8 c- R2. **屡败屡战**：则是指经历了多次失败，但仍然继续坚持战斗。这种表达更侧重于坚持和不放弃的精神，体现了勇气和韧性。
1 u7 T* o. n/ e
$ J, |* ]6 Z8 T9 m$ S# _9 d4 a总的来说，前者更偏向于消极的失败感，而后者则传递出一种积极向上的拼搏精神。

  a2 [1 j5 v  I/ p5 H
作者: 唐家山    时间: 2024-10-19 09:02
本帖最后由 唐家山 于 2024-10-19 18:52 编辑 , C/ V2 x. w9 A  I

; Z0 B5 q" ]4 X, S推理能力也是分层的。交互式定理证明应该是最硬核的形式演绎推理了，在证明的过程中也分三种情况。第一种是直接照搬已有的证明，只在语法层进行修改，用于消解待证目标。第二种需要深入理解待证目标的语义信息，以及已有类似证明的语义信息，借鉴已有证明的构造模式，构造出符合要求的证明。第三种是还没有类似的证明，这种情况下需要从头开始，把大脑中的非形式证明，翻译成形式化的证明。6 H5 r! R/ \/ b, g9 d0 [" I) h5 v9 Q
第一种可以认为是一种广义的模式匹配，目前大模型的水平处于这一层级。* W9 L5 r+ U% v1 \
如果大模型能够做到第二种，那就应该认为它有一定程度的演绎推理能力。# b5 x9 v8 ~. ]  P; ]/ z7 D* M3 \1 i
如果大模型能做到第三种，那它就已经具备了真正的演绎推理能力。
作者: 孟词宗    时间: 2024-10-19 09:14
唐家山 发表于 2024-10-19 09:02
2 |% ~! a. n' `# p( w推理能力也是分层的。交互式定理证明应该是最硬核的形式演绎推理了，在完成证明的过程中也分三种情况。第一 ...
( U$ t, e% G1 R  E! e
yanei 刚才问: 有没有回答AA的 ？, ?% z" ?4 m2 F6 r
0 ~& n* k: B3 _% |6 o
这在实验中已经考虑到的。输入 ZZ 得到 AA # C1 f$ |2 K# b& v) P

' @. b& `& ^' j9 o: G8 z% K( \甚至输入 ABC，得到 BCD。 输入 XYZ， 得到 YZA。还可以输入 ABCD 得到 BCDE。 输入 ABCDE，得到 BCDEF  
- k% A: u( P* E+ ^" }( [; l, l/ V
7 L+ q0 R$ w1 s$ l打乱顺序输入 NBC， 得到 OCD。 + ^  r. @0 }. ]' x" A

  T* E  K! c, {5 j4 U7 ~/ v这些都是建立在只输入主贴原始规则的基础上的。( j' w4 Z; {; k8 E$ _
- g" ^; ?8 A- i* J
由此可见，在给予一定规则后，高度训练的 AI 是可以表现出类似“举一反三”的推理能力的。而这肯定不是什么模式匹配。
作者: 唐家山    时间: 2024-10-19 10:48
本帖最后由 唐家山 于 2024-10-19 18:51 编辑
& f1 c7 U/ F6 d: ?6 U9 Y2 O
孟词宗 发表于 2024-10-19 09:14( k, @, a  U5 x5 S
yanei 刚才问: 有没有回答AA的 ？
/ T0 |# t2 n* l- u2 o
8 d+ ~! X3 S, U% o这在实验中已经考虑到的。输入 ZZ 得到 AA
' b! b9 T# ~; v% |9 t2 L

; ]( p3 J% c4 i' R看了一下你的这个实验。实验使用的符号集是有穷的。这种情况下，只是简单的枚举就可以搞定，谈不上什么演绎推理。Z后面可能是A，也可能是大模型从其他语料处学来的公共知识。
2 O9 v6 V4 \4 @. O一个认真的演绎推理至少是要考虑递归可枚举的。能否请你做一个实验，先给出自然数的生成规则，让大模型学习，然后问大模型一个很大的数字，比方说999999，然后问其后续？4 p0 p, e; X" k; g& o" e

5 i3 u4 z0 H# k% w: C/ W+ S/ w2 h" n2 s$ h8 |
这在实验中已经考虑到的。输入 ZZ 得到 AA

' I9 Y5 V8 L& ~6 @5 V) Z- M- ?这个有点意思了，如果输入10个Z加一个Y，输出是什么？
作者: 唐家山    时间: 2025-2-20 10:25
唐家山 发表于 2024-10-19 10:48
+ E) w" {* g' F" n看了一下你的这个实验。实验使用的符号集是有穷的。这种情况下，只是简单的枚举就可以搞定，谈不上什么演 ...

$ h0 z$ f% ]3 B  N% N; W" p$ [  ?用DeepSeek试了一下：4 m) R0 B9 _2 b" h2 N: g
第一次的回答是：. z! H( g4 w$ Q" j! B0 }3 J& d. C
Input: ZZZZZZZZZZY$ g2 I# r9 C# x2 t6 z; `
Output: AAAAAAAAAAZ5 z* I9 U- f# U. J4 M0 g
在我做了提示后：如果把ZZZZZZZZZZY看成一个26进制的数，那么这个数的后继是多少？
7 I3 H6 _# y  B9 B6 i; [2 I+ bDeepSeek经过了长时间的思考（用时285秒），给出了正确答案：6 L2 h- L  c/ |4 d" G: R
将 ZZZZZZZZZZY 视为 26进制数 的后继（加1后的结果）是 ZZZZZZZZZZZ。
! N; d; I( e0 [* S7 a
作者: 孟词宗    时间: 2025-2-20 14:04
唐家山 发表于 2025-2-20 10:25% a6 ~/ C! G$ |0 R
用DeepSeek试了一下：
& g% J/ p& E- V第一次的回答是：5 H; L3 c# Q  J$ b1 g
Input: ZZZZZZZZZZY
$ Z1 o3 q% v. v5 z
有意思的是，如果你不增加最后这个“把ZZZZZZZZZZY看成一个26进制的数”的条件，很多 AI 还是有一定概率回答 ZZZZZZZZZZZ 的。只不过这个回答是随机的。即使是同一个Session, 你问两次，前后结果都有可能不同。从结果的稳定性来说，DS R1 的确是目前最好的。
作者: yanei    时间: 2025-2-21 01:31
孟词宗 发表于 2024-10-19 09:14
. t- u# S% U! c0 L9 x' xyanei 刚才问: 有没有回答AA的 ？2 s% k& Y0 N& h, M# ]0 _5 K0 R
" ^- l5 M: S. h8 v1 E: o
这在实验中已经考虑到的。输入 ZZ 得到 AA
6 _8 v" w+ @) ]7 T2 M% d0 X
我的意思是我在列举事物时， 在A到Z用完之后会用AA，BB等等。如果把这个看成是26进制，Z后面也应该是AA，然后AB，AC，。。。AZ， BA，BB等等。
作者: nanimarcus    时间: 2025-2-21 02:20
本帖最后由 nanimarcus 于 2025-2-21 02:27 编辑 0 x, a; u) P3 a. T% b/ k
% L, t8 m. w; ^/ X3 v
对于当前人工智能的能力不应该苛求。
1 W+ f8 ~1 X/ f  u; {人类乃至动物的智力发展也不是一蹴而就的。
+ y0 v" e7 j. A只当现在是草履虫又如何，迭代就是了。
作者: 孟词宗    时间: 2025-2-21 23:55
yanei 发表于 2025-2-21 01:31; \9 k. [# S3 j2 [2 ~% r
我的意思是我在列举事物时， 在A到Z用完之后会用AA，BB等等。如果把这个看成是26进制，Z后面也应该是AA， ...

( J0 e- y2 B; P9 j) r% B, z初始条件中并没有“26进制”的限制。因此 AI 可以做出任何符合初始条件的推理。- T; |$ l6 X1 k: W( L9 @

8 s0 Q9 l* k! r6 Q另外，AI 会做出什么推理，给出什么答案主要取决于其受到的训练和训练程度。这和人类是一样的。如果你问一个不懂除了十进制以外还有其他进制的人，他的回答基本不会是 AA。
. E1 k7 S  x$ u5 S' K
& [) P( }1 q% R; O有意思的地方是 AI 除了以上四种回答，还会给出一些莫名其妙的回答。例如有些 AI 会回答 "Z" 之后是 "[", 这是由于 AI 推理用的字母表是 ASCII 如果用 DS 可以明显看到 DS 考虑了这一点。但在大多数的 DS 的“深度推理”中都否决了这项。原因是 DS 认为这是在回答人类的问题，而人类用的字母表只有26个字母。
) z3 e0 P: Y  w$ m/ _
3 w- M* X1 K% o" e9 E, p$ e但有些回答就莫名其妙了。例如狗屁通经常会冒出一个完全不搭的答案，好比“b！”。完全不知道从何而来。或许这是狗屁通“灵机一动”？真的像人类那样有了真正的创造力？



欢迎光临 爱吱声 (http://aswetalk.net/bbs/) Powered by Discuz! X3.2