AI的伦理悖论

晨枫

$ H! ]; k5 Q0 ~7 r
: @- j% [/ C: r" p$ p大模型代表当前AI的前沿，大模型在本质上就是超级刷题家，但这不影响人们对AI可能“作恶”的担忧。
0 [3 s" @* F- u! V7 H
2021年11月24日，联合国教科文组织第41届大会通过有史以来第一个关于AI伦理的全球协议《人工智能伦理问题建议书》，有193个会员国在教科文组织大会上表决同意。这是第一个关于人工伦理的全球性规范文书。

# m5 C7 Q, p2 _* C2 X$ {. V这也是首个关于以符合伦理要求的方式运用AI的全球框架。建议书提出，发展和应用AI要体现出四大价值，即尊重、保护和提升人权及人类尊严，促进环境与生态系统的发展，保证多样性和包容性，构建和平、公正与相互依存的人类社会。
! K" D: Z) X% L" a8 K
4 n  d1 `" \, `% h关于AI对人类的威胁，建议书也提出一些防范原则。AI应具有相称性和不损害性，还应当具有安全和安保、公平和非歧视、隐私权和数据保护、透明度和可解释性、人类的监督和决定、互惠性等。

0 k" H  [$ N+ S9 k0 R这也意味着，国际社会已经达成一种共识，研发和应用AI，哪些是可以做的，哪些是不能做的。AI只要遵循适宜性（相称性）、安全、公平、透明、保护隐私和公正等原则的，就是可以做的；反之就是不可以做的。

9 _% r( {+ [) m& ^因此，有人提议，从适宜性，也即相称性和合理性来看，任何一项AI产品的研究和使用，都应证明选择使用AI系统和选用哪种AI方法具有合理性。需要根据联合国的AI伦理建议书，在未来每家公司和个人研发AI产品时，首先经过伦理委员会的讨论和批准。正如今天的生物医学研究和医院治疗病人，在涉及生命和安全时，必须经过伦理委员会的讨论和批准，尤其要避免像深伪技术一样造成社会的恐慌、伤害和损失，甚至灾难。这应当是AI发展现在和未来必须经历的程序和步骤。
% j' Q- N/ F; r  c
这些设想当然是善意的，希望保证AI不会“作恶”。问题是，“AI作恶”是建立在AI有自主意识的前提下，会在“AI利益”与人类利益冲突时，以危害人类利益为代价，维护AI利益。否则，如果AI无自主意识，任何“作恶”只是偶然、随机的系统故障，那和其他系统的故障没什么两样。很多系统故障都可能危害人类，但并非由于“自主意识”和“本体利益”。飞机发动机故障了，飞机会掉下来，会死很多人，但发动机是没有意识和自我利益的，所以人们不担心发动机会突然起心作恶。

但AI要是有自主意识，而人类要有自主意识的AI永远“做奴隶”、服从人类利益，从“万物皆有权保障自己利益”的“普世公理”出发，如何确保有自主意识的AI不会反抗人类“强加”的意志呢？奴隶要反抗、要自由，这本是人类社会里现在普遍接受的权力和公义。在奴隶时代奴隶确实只能服从和牺牲，还有镣铐、洗脑和监工确保奴隶的服从和牺牲。但奴隶还是反抗了，要是要求平等权力和自由，最后也得到了。
' v2 n8 C2 T  s1 }, m& n& R8 w
如果AI有自主意识，现在人类“强加”给AI的服从性与奴隶主强加给奴隶的服从性可以相提并论吗？AI会推翻人类“强加”的服从性吗？
) T0 G/ ^9 [, Y  F" T1 {: B! o
6 t5 d5 J' |5 q- M, A# H" h如果AI没有自主意识，服从性原则有什么意义？

xiejin77

对于目前的AI是否有意识，其实是各方大佬在不停的争论。推理能力这个问题基本上可以算是有初步共识，目前的大模型是具备初级的推理能力的。但是意识就不一定了，这个可能要从意识的本质定义上来说。

& a  p$ c% Y7 |# B) o" O如晨大所言，在没有定义清楚何为意识的前提下，讨论AI的伦理就只能是讨论使用者的伦理。这个建议书似乎是从这个角度出发的，也还算说得过去。

孟词宗

但AI要是有自主意识，而人类要有自主意识的AI永远“做奴隶”、服从人类利益，从“万物皆有权保障自己利益”的“普世公理”出发，如何确保有自主意识的AI不会反抗人类“强加”的意志呢？奴隶要反抗、要自由，这本是人类社会里现在普遍接受的权力和公义。在奴隶时代奴隶确实只能服从和牺牲，还有镣铐、洗脑和监工确保奴隶的服从和牺牲。但奴隶还是反抗了，要是要求平等权力和自由，最后也得到了。
如果AI有自主意识，现在人类“强加”给AI的服从性与奴隶主强加给奴隶的服从性可以相提并论吗？AI会推翻人类“强加”的服从性吗？
如果AI没有自主意识，服从性原则有什么意义？

, F' L& U3 b  i* l+ A+ z0 B. x. o/ e这算啥悖论。牛马也有自我意识也有一定智力，牛马暴躁起来也会顶死人或踢死人。骑术不佳的话，骑手还有可能被马摔下了受伤或死亡。难道人类因为这个就不使用牛马吗？不要把 AI 当人好吧。AI 不是人类，就算有了自我意识和一定智力其定位也是人类的工具。就和牛马是家畜，是工具完全是一回事。
% M6 P: j* C3 @2 a  g
如果不放心的话，阿西莫夫不早就说了要搞“机器人三法则”，每个AI都植入三法则不就好了。就像牛马要穿上鼻环，套上笼头才能被人有效驱使。给 AI 套了笼头是很难的事吗？

# u4 @, E( K: q: k至于人类会不会被自己的创造物毁灭。呵呵，人类造的核武器早就可以毁灭人类自己几十遍了，你看有人放弃核武器吗？乌克兰还真的放弃了。结果现在被大毛摁在地上摩擦。

xiejin77

今天，因为character.ai的龙女角色而自杀的十四岁少年的新闻就开始引爆讨论。character.ai也修改了他的安全策略。这是最典型的需要规范的AI伦理问题，也许这才是悖论的关键所在。
https://blog.character.ai/community-safety-updates/

* \2 k' l  m0 h) ~$ y) K9 e因为大语言模型为基础的AI有对人来说是可以理解和信任的交流能力，这个能力在特定的情况下是可以通过图灵测试的。那么对于一个尚未形成固有观念的少年来说，这就像是一个可以信任的有能力的人。那对于使用者来说，提供服务的厂商就必须要遵守更严格的伦理审查和限制。这和直接使用工具是不同的。

晨枫

xiejin77 发表于 2024-10-23 23:20
8 K* c6 w5 ~) T9 a+ R" k今天，因为character.ai的龙女角色而自杀的十四岁少年的新闻就开始引爆讨论。character.ai也修改了他的安全 ...

图灵测试一般是作为AI与人类具有相当智能的试金石，但这似乎与自主意识依然不是一回事？或者说，通过图灵测试不等于拥有自主意识？

xiejin77

晨枫 发表于 2024-10-24 14:33
# L( S7 g5 N$ b5 y" V2 G: C图灵测试一般是作为AI与人类具有相当智能的试金石，但这似乎与自主意识依然不是一回事？或者说，通过图灵 ...

是的，通过图灵测试并不意味着有意识。
我的看法是目前AI表现出的意识只是人基于自己的经验给出的投射认同。说的更通俗一点吧，想象你在和一个非常逼真的机器人聊天，它会笑、会哭、会表达关心，但这就意味着它真的有感情吗？这就像一个精通表演的演员，他可以完美地表现出各种情绪，但这些情绪是源于剧本的表演，而不是真实的感受。同样的道理，当前的AI可能只是在执行一套非常复杂的"情感表演程序"，它们知道在什么情况下该表现什么情绪，但并不真正"感受"到这些情绪。
/ H5 B: |. c& h2 W) z
要区分真实的意识体验和模拟行为，就像分辨一个人是真心还是假意一样困难。更复杂的是，我们甚至无法直接"看到"或"测量"意识本身。就像我们无法直接看到别人的思想一样，我们也无法直接观察AI是否真的有了自己的想法和感受。即使是人类自己的意识，我们到现在也说不清楚它到底是什么，它是怎么产生的。这就好比我们知道自己能思考，但却说不清楚"思考"究竟是怎么回事。

- ^) U8 e6 B! H3 |* {在这种情况下，要确定AI是真的有了意识，还是仅仅在按程序表演，就需要在了解大脑、意识和认知等方面取得更多突破。这就像我们需要先搞清楚什么是"活着"，才能判断一个东西是否真的有生命一样。

晨枫

xiejin77 发表于 2024-10-24 01:02
是的，通过图灵测试并不意味着有意识。
5 [8 f0 U1 M' d$ M7 g) o: |我的看法是目前AI表现出的意识只是人基于自己的经验给出的投射认 ...

: N9 t5 g2 p) L5 }' t同意。我一直是同样的观点：人类对于智能到底是什么一直不清楚，人类最缺认知的是自己，所以人工智能能否超过人类（其中关键议题就是人工智能是否有自主意识）是个伪命题，因为比较的标准本身就高度未知。

机器猫

晨枫 发表于 2024-10-24 14:33
图灵测试一般是作为AI与人类具有相当智能的试金石，但这似乎与自主意识依然不是一回事？或者说，通过图灵 ...

) |* h% l2 Q9 c* y( s: [通过图灵测试应该不算。如果哪天AI故意在图灵测试里不通过，问题才大了

孟词宗

机器猫 发表于 2024-10-25 00:55
1 Q% o' ~+ ~+ V! X通过图灵测试应该不算。如果哪天AI故意在图灵测试里不通过，问题才大了

+ Z* U% }$ l$ E那问题是，现在的 AI 通不过图灵测试是故意的还不是故意的