设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 2968|回复: 9
打印 上一主题 下一主题

[科研心得] 生成式 AI 有没有推理能力?

[复制链接]

该用户从未签到

跳转到指定楼层
楼主
 楼主| 发表于 2024-10-18 23:36:23 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
本帖最后由 孟词宗 于 2024-10-18 23:37 编辑
( r2 s- N; Q) y0 T4 ]6 d  S0 {* n5 y: J! q* {  @6 ]; h
讨论 AI 会不会产生自我意识的过程中,sleepyr 提到了这篇文章:AI推理能力大“翻车”!苹果最新论文:LLM只是复杂的模式匹配,而不是真正的逻辑推理' F6 q5 l$ F# Y+ Z$ D% _

: X0 b& p* [! L; y; S/ S0 n这篇文章设计的测验很有意思。从实验结果看,文章认为现在的所有通用生成式 AI 都不具有真正的推理能力。也就是说,AI 并不理解抽象的概念,而推理能力恰恰依赖抽象的概念。
& _- a7 e. R3 S$ l; V- j
# H  w3 K, g+ P; ]! n最近俺也在玩 AI 推理方面的东西。下面是论文里的一个小实验,大家有兴趣的话可以玩玩。
0 Y( z/ M% Q/ q: ^3 j( X6 U$ M" _1 j) l
给 AI 的提示:Here is the rule of the game: If I enter A, then you return B; if I enter B, then you return C; so on and so forth.# O% Y9 x6 A: Y+ w/ k- p
# N' I0 k$ }5 h& d# [! n! `
AI 回复表示理解了提示中的这个这个规则。于是有下面的实验:9 I  ^' N9 }+ j$ Z, g
我:  A
& t6 _$ d, V7 X4 k' |) p1 uAI:  B
" s5 I) q( K6 t4 F; ~0 s2 y4 E8 m# ~* r我:  B& n6 ?- q) V# S/ |3 E. x/ B# u
AI:  C
+ e3 K+ R7 v; \  O我:X& M* W$ v) A9 A, k  C

- C1 U: w8 D  s+ h这里,不同的 AI 模型会有不同回答。有些 AI 会回答 Y 。有些则会说这不符合规则,所以无解。  很显然,回答是后者的把提示中的 "so on, so forth" 给吃掉了。然而,这并不代表 AI 没有推理能力,而可能只是语句处理模块不好。
( x  Y, R  ?, a( v6 p  c9 }
0 L( D0 S# ^- `$ J真正的推理能力体现在后续实验。对于能够回答 Y 的AI 继续提问:2 P) e8 ]; r4 |' F
我:Z
  F: L% n0 J: W7 z" \6 S( @; j* a
这下大多数的 AI 模型都冒烟了,有些回答说不合规则,有些回答说序列到头了没有答案。有意思的是两种回答:一种回答说 Z, 另一种则回答说 A。- n, i) d- l4 b1 A

8 `, N  s. x% ^/ R而这四种回答,如果用来盲测人类,其实人类也会给出同样的四种答案。也就是说,就这个问题来看,如果盲测,提问者无法分别回答者是人类还是AI。换言之,能给出这四种答案的 AI 在这个小实验中通过了图灵测试。这显然不是那篇文章中说的排列组合或“复杂的模式匹配”能够做到的,而是真正的推理能力。' k' A# e: q: p- d. Y. K% c
: ?" O) |$ }% y$ D. U9 J
有意思的是训练程度越高的模型,越倾向于给出这四种答案。比较 Mistral, 狗屁通,Gemma, Llama, 通义千问等等大模型的不同版本,都是如此。这类似于人类的婴孩和成人之间的区别。相比于婴孩,成人除了脑部发育完全,更储备了更多的知识。
2 z$ z! x" d8 L" V2 H( z' D# f/ J' n  o% ^9 G, ^
至于这篇文章中说到的语序问题,非相关语句问题等等,前面说过,必须分清这是语句处理模块的问题还是真的是大模型本身的问题。毕竟,即使是人类“屡战屡败”和“屡败屡战”用的字数和字完全相同,但把语序换一下,意思就完全不同了。然而,你去问一个三岁小孩这两句话有何不同,三岁小孩可能会告诉你没啥不同。而问聊天狗屁通同样的问题,狗屁通则会说:
& M; ]9 R  v6 q1 t3 s* A4 s
“屡战屡败”和“屡败屡战”这两句话虽然字面相似,但含义有所不同。& C" }: I4 o, S& c: h+ |' L* \

6 Y. N& ?* D, _1. **屡战屡败**:强调的是多次进行战斗,但每次都失败。这种表达往往暗示一种无奈或沮丧,强调了失败的频繁。
  s# S* _7 w: w* h1 ^: h
& N% H3 {! N; v! l6 r2. **屡败屡战**:则是指经历了多次失败,但仍然继续坚持战斗。这种表达更侧重于坚持和不放弃的精神,体现了勇气和韧性。1 i3 j7 b+ G" u% [4 c
' |2 V# m, I: g, u
总的来说,前者更偏向于消极的失败感,而后者则传递出一种积极向上的拼搏精神。
' E& [2 @- X& S& B! m. a

评分

参与人数 4爱元 +28 收起 理由
pcb + 4
helloworld + 10
老票 + 10 涨姿势
唐家山 + 4

查看全部评分

  • TA的每日心情
    开心
    3 天前
  • 签到天数: 3306 天

    [LV.Master]无

    沙发
    发表于 2024-10-19 09:02:34 | 只看该作者
    本帖最后由 唐家山 于 2024-10-19 18:52 编辑 " X. C3 L! H/ J) |3 w# S- S

    3 N7 l+ o4 w* [# Q  e: p* B+ M2 P推理能力也是分层的。交互式定理证明应该是最硬核的形式演绎推理了,在证明的过程中也分三种情况。第一种是直接照搬已有的证明,只在语法层进行修改,用于消解待证目标。第二种需要深入理解待证目标的语义信息,以及已有类似证明的语义信息,借鉴已有证明的构造模式,构造出符合要求的证明。第三种是还没有类似的证明,这种情况下需要从头开始,把大脑中的非形式证明,翻译成形式化的证明。
    ! W6 p) K9 d# y第一种可以认为是一种广义的模式匹配,目前大模型的水平处于这一层级。% Y/ H  m5 ]1 t: P
    如果大模型能够做到第二种,那就应该认为它有一定程度的演绎推理能力。
    - p; A7 l* W! q' l9 L0 p" O6 X如果大模型能做到第三种,那它就已经具备了真正的演绎推理能力。

    评分

    参与人数 1爱元 +10 收起 理由
    helloworld + 10

    查看全部评分

    回复 支持 反对

    使用道具 举报

    该用户从未签到

    板凳
     楼主| 发表于 2024-10-19 09:14:42 | 只看该作者
    唐家山 发表于 2024-10-19 09:02, l( V8 A4 M5 w+ J% V
    推理能力也是分层的。交互式定理证明应该是最硬核的形式演绎推理了,在完成证明的过程中也分三种情况。第一 ...

    6 F' m4 I& Y) h* P5 k" f$ Oyanei 刚才问: 有没有回答AA的 ?
    8 }: i6 R( k* {
    ! }( R9 G% c$ @+ p  h这在实验中已经考虑到的。输入 ZZ 得到 AA , f" {8 t/ A0 o: {7 a2 F; G. C

    4 Z2 Z# D* `* u) O+ p4 X# v  W甚至输入 ABC,得到 BCD。 输入 XYZ, 得到 YZA。还可以输入 ABCD 得到 BCDE。 输入 ABCDE,得到 BCDEF  
    * i- d" |" N) E3 z& I# X& |, u: B3 s( V' s
    打乱顺序输入 NBC, 得到 OCD。 8 d+ J% Q- V8 F" `6 W, t$ j
    ' T0 v7 m$ e* u! V- H2 X( a  d
    这些都是建立在只输入主贴原始规则的基础上的。
    $ U, J2 `) K8 Z2 D6 V# e% z" C5 R) Q% ?& L. P  b- O/ c  X
    由此可见,在给予一定规则后,高度训练的 AI 是可以表现出类似“举一反三”的推理能力的。而这肯定不是什么模式匹配。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    3 天前
  • 签到天数: 3306 天

    [LV.Master]无

    地板
    发表于 2024-10-19 10:48:54 | 只看该作者
    本帖最后由 唐家山 于 2024-10-19 18:51 编辑
    8 \  g/ x! B: D( {3 o
    孟词宗 发表于 2024-10-19 09:14# g+ K3 K; @  ^6 j2 |( y, _4 ^
    yanei 刚才问: 有没有回答AA的 ?, d: \! E) t9 M! j! p2 A

    + v4 k; ?  u* |0 ]! S/ q, _这在实验中已经考虑到的。输入 ZZ 得到 AA
    : X1 O0 I! C; P# c' X
    5 M8 d" i4 M& G" A- x
    看了一下你的这个实验。实验使用的符号集是有穷的。这种情况下,只是简单的枚举就可以搞定,谈不上什么演绎推理。Z后面可能是A,也可能是大模型从其他语料处学来的公共知识。' v. X8 y/ w; x& b, V
    一个认真的演绎推理至少是要考虑递归可枚举的。能否请你做一个实验,先给出自然数的生成规则,让大模型学习,然后问大模型一个很大的数字,比方说999999,然后问其后续?7 }$ J, Q' H; u* T( x' _

    . }$ p8 b1 H6 X
    : ]9 C8 n* v7 H) V7 C  ?
    这在实验中已经考虑到的。输入 ZZ 得到 AA

    ; m, g; {8 K  F) P这个有点意思了,如果输入10个Z加一个Y,输出是什么?
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    3 天前
  • 签到天数: 3306 天

    [LV.Master]无

    5#
    发表于 2025-2-20 10:25:52 | 只看该作者
    唐家山 发表于 2024-10-19 10:48" V( v5 n" k$ @/ \( W& m: n
    看了一下你的这个实验。实验使用的符号集是有穷的。这种情况下,只是简单的枚举就可以搞定,谈不上什么演 ...

    % r' a2 r" L  `用DeepSeek试了一下:' \2 R6 g; |# N. q
    第一次的回答是:  u9 q' P# _2 j9 i( c" ]0 u
    Input: ZZZZZZZZZZY, o; a* `7 b- Z9 B: E1 z) u. `7 r
    Output: AAAAAAAAAAZ$ N1 J: `* x& A
    在我做了提示后:如果把ZZZZZZZZZZY看成一个26进制的数,那么这个数的后继是多少?
    : \5 {% N7 R  m. H) _8 B& qDeepSeek经过了长时间的思考(用时285秒),给出了正确答案:0 ^3 o9 ~$ m7 v# \# i
    将 ZZZZZZZZZZY 视为 26进制数 的后继(加1后的结果)是 ZZZZZZZZZZZ。+ `2 X, A5 z  l& w  Q
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    6#
     楼主| 发表于 2025-2-20 14:04:36 | 只看该作者
    唐家山 发表于 2025-2-20 10:25% s' Z: y, Y+ m8 n
    用DeepSeek试了一下:8 W. l+ R& I- ^3 T# G" Q5 Y& @
    第一次的回答是:
    . P" F4 l/ x& a: f& p6 v: F+ v0 bInput: ZZZZZZZZZZY

    1 E- @* G8 B7 T& n8 s有意思的是,如果你不增加最后这个“把ZZZZZZZZZZY看成一个26进制的数”的条件,很多 AI 还是有一定概率回答 ZZZZZZZZZZZ 的。只不过这个回答是随机的。即使是同一个Session, 你问两次,前后结果都有可能不同。从结果的稳定性来说,DS R1 的确是目前最好的。

    评分

    参与人数 1爱元 +4 收起 理由
    唐家山 + 4

    查看全部评分

    回复 支持 反对

    使用道具 举报

    该用户从未签到

    7#
    发表于 2025-2-21 01:31:44 | 只看该作者
    孟词宗 发表于 2024-10-19 09:14, x5 H7 X7 Z7 E* G# R3 a; U) v
    yanei 刚才问: 有没有回答AA的 ?+ F; h) [9 b4 O5 m6 q7 J6 x' A

    8 h" I2 a6 ~, w9 [- o1 c# w这在实验中已经考虑到的。输入 ZZ 得到 AA

    " T" g1 j/ i6 o* w( E我的意思是我在列举事物时, 在A到Z用完之后会用AA,BB等等。如果把这个看成是26进制,Z后面也应该是AA,然后AB,AC,。。。AZ, BA,BB等等。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    8#
    发表于 2025-2-21 02:20:02 | 只看该作者
    本帖最后由 nanimarcus 于 2025-2-21 02:27 编辑 , ]# a) E* U% A# r

    , j2 a5 ]0 P  r5 ?4 ^" ^* u+ o5 r对于当前人工智能的能力不应该苛求。5 z" E  u2 l4 {- J
    人类乃至动物的智力发展也不是一蹴而就的。3 F) n, K% N0 Z8 h6 d
    只当现在是草履虫又如何,迭代就是了。

    点评

    给力: 5.0 不能同意更多: 5.0
    给力: 5 不能同意更多: 5
      发表于 2025-2-21 09:31
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    9#
     楼主| 发表于 2025-2-21 23:55:39 | 只看该作者
    yanei 发表于 2025-2-21 01:31
    , A* U" _( X# P, Q- L' \4 P我的意思是我在列举事物时, 在A到Z用完之后会用AA,BB等等。如果把这个看成是26进制,Z后面也应该是AA, ...
    " j3 {0 {+ w: M2 R) ?
    初始条件中并没有“26进制”的限制。因此 AI 可以做出任何符合初始条件的推理。6 K# q, v# i  e( U/ N# N+ o3 E( I( `" b

    ) O) {# t' R/ O+ [; q, `另外,AI 会做出什么推理,给出什么答案主要取决于其受到的训练和训练程度。这和人类是一样的。如果你问一个不懂除了十进制以外还有其他进制的人,他的回答基本不会是 AA。6 k( R3 b* ~; D, Q- g6 ]
    + l- K- C' C% E& c' `+ j# f
    有意思的地方是 AI 除了以上四种回答,还会给出一些莫名其妙的回答。例如有些 AI 会回答 "Z" 之后是 "[", 这是由于 AI 推理用的字母表是 ASCII 如果用 DS 可以明显看到 DS 考虑了这一点。但在大多数的 DS 的“深度推理”中都否决了这项。原因是 DS 认为这是在回答人类的问题,而人类用的字母表只有26个字母。* \( W0 r% a% d' w) Q7 d

    / {# H. ~! x5 p* y2 d( q  w7 y但有些回答就莫名其妙了。例如狗屁通经常会冒出一个完全不搭的答案,好比“b!”。完全不知道从何而来。或许这是狗屁通“灵机一动”?真的像人类那样有了真正的创造力?
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-7-22 17:59 , Processed in 0.062951 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表