AI的伦理悖论

晨枫

/ H; z( Q( {& @) b  T9 T大模型代表当前AI的前沿，大模型在本质上就是超级刷题家，但这不影响人们对AI可能“作恶”的担忧。
, L  k1 w: e. }6 ~
2021年11月24日，联合国教科文组织第41届大会通过有史以来第一个关于AI伦理的全球协议《人工智能伦理问题建议书》，有193个会员国在教科文组织大会上表决同意。这是第一个关于人工伦理的全球性规范文书。
+ g9 w+ M' _6 u! }5 F
这也是首个关于以符合伦理要求的方式运用AI的全球框架。建议书提出，发展和应用AI要体现出四大价值，即尊重、保护和提升人权及人类尊严，促进环境与生态系统的发展，保证多样性和包容性，构建和平、公正与相互依存的人类社会。

6 B, W& c( K* [" t9 [' R. W! e关于AI对人类的威胁，建议书也提出一些防范原则。AI应具有相称性和不损害性，还应当具有安全和安保、公平和非歧视、隐私权和数据保护、透明度和可解释性、人类的监督和决定、互惠性等。
' x" p0 g4 a5 J* \, g0 H
这也意味着，国际社会已经达成一种共识，研发和应用AI，哪些是可以做的，哪些是不能做的。AI只要遵循适宜性（相称性）、安全、公平、透明、保护隐私和公正等原则的，就是可以做的；反之就是不可以做的。

因此，有人提议，从适宜性，也即相称性和合理性来看，任何一项AI产品的研究和使用，都应证明选择使用AI系统和选用哪种AI方法具有合理性。需要根据联合国的AI伦理建议书，在未来每家公司和个人研发AI产品时，首先经过伦理委员会的讨论和批准。正如今天的生物医学研究和医院治疗病人，在涉及生命和安全时，必须经过伦理委员会的讨论和批准，尤其要避免像深伪技术一样造成社会的恐慌、伤害和损失，甚至灾难。这应当是AI发展现在和未来必须经历的程序和步骤。
: G' U, p8 i' W5 k, N
& P& U2 H; J: b6 R, o这些设想当然是善意的，希望保证AI不会“作恶”。问题是，“AI作恶”是建立在AI有自主意识的前提下，会在“AI利益”与人类利益冲突时，以危害人类利益为代价，维护AI利益。否则，如果AI无自主意识，任何“作恶”只是偶然、随机的系统故障，那和其他系统的故障没什么两样。很多系统故障都可能危害人类，但并非由于“自主意识”和“本体利益”。飞机发动机故障了，飞机会掉下来，会死很多人，但发动机是没有意识和自我利益的，所以人们不担心发动机会突然起心作恶。
; R6 m% a$ n! y
: \% x" X( R8 K. t, N, R但AI要是有自主意识，而人类要有自主意识的AI永远“做奴隶”、服从人类利益，从“万物皆有权保障自己利益”的“普世公理”出发，如何确保有自主意识的AI不会反抗人类“强加”的意志呢？奴隶要反抗、要自由，这本是人类社会里现在普遍接受的权力和公义。在奴隶时代奴隶确实只能服从和牺牲，还有镣铐、洗脑和监工确保奴隶的服从和牺牲。但奴隶还是反抗了，要是要求平等权力和自由，最后也得到了。

  Y. R2 ?3 c  t如果AI有自主意识，现在人类“强加”给AI的服从性与奴隶主强加给奴隶的服从性可以相提并论吗？AI会推翻人类“强加”的服从性吗？

如果AI没有自主意识，服从性原则有什么意义？

xiejin77

对于目前的AI是否有意识，其实是各方大佬在不停的争论。推理能力这个问题基本上可以算是有初步共识，目前的大模型是具备初级的推理能力的。但是意识就不一定了，这个可能要从意识的本质定义上来说。
) F4 f( j5 O6 j1 b
如晨大所言，在没有定义清楚何为意识的前提下，讨论AI的伦理就只能是讨论使用者的伦理。这个建议书似乎是从这个角度出发的，也还算说得过去。

孟词宗

但AI要是有自主意识，而人类要有自主意识的AI永远“做奴隶”、服从人类利益，从“万物皆有权保障自己利益”的“普世公理”出发，如何确保有自主意识的AI不会反抗人类“强加”的意志呢？奴隶要反抗、要自由，这本是人类社会里现在普遍接受的权力和公义。在奴隶时代奴隶确实只能服从和牺牲，还有镣铐、洗脑和监工确保奴隶的服从和牺牲。但奴隶还是反抗了，要是要求平等权力和自由，最后也得到了。
如果AI有自主意识，现在人类“强加”给AI的服从性与奴隶主强加给奴隶的服从性可以相提并论吗？AI会推翻人类“强加”的服从性吗？
$ S  P: S' S0 X" V. x- x4 j如果AI没有自主意识，服从性原则有什么意义？

7 m# `& U: t' p5 u- l这算啥悖论。牛马也有自我意识也有一定智力，牛马暴躁起来也会顶死人或踢死人。骑术不佳的话，骑手还有可能被马摔下了受伤或死亡。难道人类因为这个就不使用牛马吗？不要把 AI 当人好吧。AI 不是人类，就算有了自我意识和一定智力其定位也是人类的工具。就和牛马是家畜，是工具完全是一回事。
  w8 R  j# W- _' Y# ?4 n& q
如果不放心的话，阿西莫夫不早就说了要搞“机器人三法则”，每个AI都植入三法则不就好了。就像牛马要穿上鼻环，套上笼头才能被人有效驱使。给 AI 套了笼头是很难的事吗？

) }3 n! B. {: u6 I8 j$ q至于人类会不会被自己的创造物毁灭。呵呵，人类造的核武器早就可以毁灭人类自己几十遍了，你看有人放弃核武器吗？乌克兰还真的放弃了。结果现在被大毛摁在地上摩擦。

xiejin77

今天，因为character.ai的龙女角色而自杀的十四岁少年的新闻就开始引爆讨论。character.ai也修改了他的安全策略。这是最典型的需要规范的AI伦理问题，也许这才是悖论的关键所在。
+ G$ Y7 M$ o. G- C5 P7 a  ?https://blog.character.ai/community-safety-updates/
' s6 k) a, s  D( @7 M+ G/ \
! X3 [8 z9 d- x9 r1 j8 U因为大语言模型为基础的AI有对人来说是可以理解和信任的交流能力，这个能力在特定的情况下是可以通过图灵测试的。那么对于一个尚未形成固有观念的少年来说，这就像是一个可以信任的有能力的人。那对于使用者来说，提供服务的厂商就必须要遵守更严格的伦理审查和限制。这和直接使用工具是不同的。

晨枫

xiejin77 发表于 2024-10-23 23:20
& Z7 d; Q1 N, Y! v: Q2 G) w今天，因为character.ai的龙女角色而自杀的十四岁少年的新闻就开始引爆讨论。character.ai也修改了他的安全 ...

4 B2 W1 }% R0 B6 E% x: S; _( [  _& ]图灵测试一般是作为AI与人类具有相当智能的试金石，但这似乎与自主意识依然不是一回事？或者说，通过图灵测试不等于拥有自主意识？

xiejin77

晨枫 发表于 2024-10-24 14:33
7 [0 x% k; V* F. t4 [图灵测试一般是作为AI与人类具有相当智能的试金石，但这似乎与自主意识依然不是一回事？或者说，通过图灵 ...

( ]& _, ~/ O; l% I4 J是的，通过图灵测试并不意味着有意识。
+ N' F! j/ _- d5 f- [' {3 a* t# C我的看法是目前AI表现出的意识只是人基于自己的经验给出的投射认同。说的更通俗一点吧，想象你在和一个非常逼真的机器人聊天，它会笑、会哭、会表达关心，但这就意味着它真的有感情吗？这就像一个精通表演的演员，他可以完美地表现出各种情绪，但这些情绪是源于剧本的表演，而不是真实的感受。同样的道理，当前的AI可能只是在执行一套非常复杂的"情感表演程序"，它们知道在什么情况下该表现什么情绪，但并不真正"感受"到这些情绪。
1 K; a5 h3 ~8 K4 f
要区分真实的意识体验和模拟行为，就像分辨一个人是真心还是假意一样困难。更复杂的是，我们甚至无法直接"看到"或"测量"意识本身。就像我们无法直接看到别人的思想一样，我们也无法直接观察AI是否真的有了自己的想法和感受。即使是人类自己的意识，我们到现在也说不清楚它到底是什么，它是怎么产生的。这就好比我们知道自己能思考，但却说不清楚"思考"究竟是怎么回事。
* y" C5 I" ~% w3 d
在这种情况下，要确定AI是真的有了意识，还是仅仅在按程序表演，就需要在了解大脑、意识和认知等方面取得更多突破。这就像我们需要先搞清楚什么是"活着"，才能判断一个东西是否真的有生命一样。

晨枫

xiejin77 发表于 2024-10-24 01:02
) N4 L; `. P3 w( X5 u3 Y& M是的，通过图灵测试并不意味着有意识。
我的看法是目前AI表现出的意识只是人基于自己的经验给出的投射认 ...

+ i* q4 l/ b5 l% i6 p同意。我一直是同样的观点：人类对于智能到底是什么一直不清楚，人类最缺认知的是自己，所以人工智能能否超过人类（其中关键议题就是人工智能是否有自主意识）是个伪命题，因为比较的标准本身就高度未知。

机器猫

晨枫 发表于 2024-10-24 14:33
图灵测试一般是作为AI与人类具有相当智能的试金石，但这似乎与自主意识依然不是一回事？或者说，通过图灵 ...

通过图灵测试应该不算。如果哪天AI故意在图灵测试里不通过，问题才大了

孟词宗

机器猫 发表于 2024-10-25 00:55
6 g7 S6 {+ Q! H' y( e通过图灵测试应该不算。如果哪天AI故意在图灵测试里不通过，问题才大了

7 m0 _7 ^, T* s4 [; m! g8 _/ P) t那问题是，现在的 AI 通不过图灵测试是故意的还不是故意的