9 B T! o" h# Z$ ^/ z% F5 v2 `) Y1 S测量方法的有效性是第一个值得怀疑的地方。如第3节所述,主流的置信度评估方法包括提示LLM报告信心水平、利用一致性估计置信度,以及从肯定或否定某个命题的输出概率推导置信度。但这些方法的可靠性都受到质疑。例如,提示LLM自述信心水平可能只揭示了LLM基于启发式估计自身状态,而不一定反映其真实信念状态。类似地,对一个命题在不同场合下给出一致答案的倾向或许只反映了某种行为模式,而非内在置信度。此外,将输出概率等同于置信度可能是一种过于简单化的做法,因为LLM的输出概率可能受到诸如测试数据统计规律的影响。 J& }3 K) k' [0 x" s: E& x7 {$ I
5 f, |5 |6 I. l其次,LLM响应的稳定性和一致性也值得怀疑。如Manakul et al. (2023)所指出的,即便采用了先进的一致性估计方法,LLM的输出仍然表现出显著的随机性。这意味着基于LLM响应进行的置信度估计可能是不稳定的,细微变化的提示可能导致评估结果的显著差异。此外,由于LLM对提示和测试数据的高度敏感性,即便使用相同评估技术,在不同的测试集上进行测试可能得出截然不同的置信度估计结果(Ye et al., 2024)。这种 LLM响应的不稳定性和不一致性,使得当前的置信度评估结果难以被可靠地解释为反映 LLM内在状态的证据。. S T T9 M$ q* d! T
# a+ d6 z. U- Y6 d, U! o6 I$ L此外,人类认知偏差和理论预设也可能在无意中影响了我们对LLM的置信度归因。一方面,人类在解释人工智能系统时存在一种自然的拟人化倾向(Coeckelbergh, 2021),往往倾向于将人类特有的心理特征归因于人工系统。另一方面,置信度评估的方法学假设本身可能反应了某种理论预设,例如根据一致性估计置信度预设了置信度与一致性行为之间的必然联系。这些人为因素使得我们对LLM置信度的认知判断可能并不像我们想象的那样客观。) g" O& d0 D$ ?% [
: J: j9 ?$ ]2 i
综上所述,我们有充分理由怀疑当前主流文献对LLM置信度的具体评估结果。这些结论建立在对LLM响应的不当解释之上,可能掺杂了认知偏差和理论偏见的影响,缺乏有力支持其作为LLM内在状态可靠指示物的证据。 2 z+ t0 [* E# E: t& |4 G2 l! v 7 K' O4 d; `* s" q& C9 Y! t" M为了克服这些认识论挑战,未来的研究需要在以下几个方面取得突破:第一,使用多种评估方法交叉验证评估结果,提高结果可靠性;第二,开发更稳健的 评估方法,降低LLM随机性和敏感性带来的影响;第三,厘清认知偏差和理论预设对实验设计和数据解释的影响,尽量消除无意识的理论偏见;第四,在理论上进一步阐明置信度的本质特征,为开发有效的评估技术提供更明确的目标。只有在这些方面取得实质性进展,我们才能真正有把握地认知LLM的真实置信度状况。 1 S' M. B$ h/ s# p" w# }5 d5 W , @- y! c& D) g3 m, n/ O; F7 结论与展望" b1 Q0 { E7 V3 d
论文系统探讨了LLM评估中的置信度归因问题。在阐述LLM工作原理和评估实践的基础上,提出了三个核心论点。论文的语义论点是,尽管可能存在其他解释,但从字面意义上理解LLM置信度归因最能解释科学家的实际言行。论文的形而上学论点是,支持和反对 LLM具有置信度的论证各有千秋,当前证据尚不足以下定论。论文的认识论论点是,即便LLM真的具有置信度,当前评估方法得出的具体置信度归因结果也难以令人信服,它们受到LLM响应不稳定性、人类认知偏差等因素的影响,与反映LLM真实心理状态的客观判断相去甚远。2 M0 W/ R$ i7 O4 M
5 E# x0 j1 z# o; y
展望未来,LLM置信度归因研究还有许多亟待完善之处。首先,需要在置信度的理论分析方面取得突破,进一步阐明置信度概念的内涵和外延,探讨LLM是否可能也应当被视为具有此种状态的对象。其次,评估技术有待改进,目前的方法大多简单粗糙,缺乏有力支持其作为置信度指示物的证据。未来需要开发更精密有效的实验范式,在控制无关变量的前提下更稳健地揭示LLM内部加工的规律性。此外,研究者还需要提高反思意识,时刻警惕各种无意识的理论偏见对实验设计和数据解释的影响。 $ s: f" {4 v/ Z( {4 ?+ h' \0 ^4 o; ~
对LLM置信度归因研究的反思,对于当前的LLM评估实践具有重要启示意义。一方面,在使用置信度作为评估指标时,研究者需要更清醒地认识到,LLM表现出的行为模式未必能够等同于人类意义上的置信度。对具体评估结果,我们需要持审慎态度,分析其稳健性和局限性。另一方面,置信度评估作为对准确度评估的重要补充,有助于我们从更加多元的视角审视LLM的能力水平。未来置信度的理论分析和评估技术如果取得突破,将极大拓展我们对LLM能力边界的认知。 + [! F2 V' u5 w$ }; B) p : b* C8 }. \$ K/ U+ {从更广阔的视角来看,LLM置信度归因问题是人工智能哲学和伦理学中的一个缩影,它与心灵、意识、理性等重大哲学议题密切相关。随着人工智能系统变得日益复杂,对人工智能的心理学描述和道德地位的争议,将在未来愈演愈烈。LLM置信度归因问题的讨论,为我们思考这些更宏大的哲学难题提供了一个切入点。它启示我们,一方面要避免简单化地将人类心智特征投射到人工系统之上,另一方面也要以开放包容的心态看待人工智能的多样可能性。在人工智能技术飞速发展的时代,哲学反思和伦理审视必须与技术创新同步并进,以确保人工智能的发展方向符合人类的根本利益。5 [# @: i( ?4 ?- j- p
. X$ \& [0 W: q# @总而言之,LLM置信度问题是一个复杂的哲学难题,涉及语义学、形而上学、认识论等多个维度。通过论文的讨论,我们厘清了该问题的理论难点,分析了支持不同立场的主要论证,指出了当前实验实践的局限性,并就未来研究方向提出了建议。尽管这一问题尚无定论,但对其的持续研究无疑将推动我们对人工智能本质的理解,为构建可解释、可信、可控的人工智能系统铺平道路。展望未来,随着置信度理论和评估技术的进步,我们有理由相信,对LLM置信度的准确认知和有效利用,最终会成为现实。而这一目标的实现,将是人工智能发展史上的一个里程碑事件。 b3 J7 w3 v/ J& e' O8 p' D) A
% P" w# K5 }3 d$ `2 n
8 c1 e, X6 F& {9 S F% t