AI的伦理悖论

晨枫

: v: \3 c4 F( E- M
大模型代表当前AI的前沿，大模型在本质上就是超级刷题家，但这不影响人们对AI可能“作恶”的担忧。

2021年11月24日，联合国教科文组织第41届大会通过有史以来第一个关于AI伦理的全球协议《人工智能伦理问题建议书》，有193个会员国在教科文组织大会上表决同意。这是第一个关于人工伦理的全球性规范文书。

5 @5 P3 r" R+ Z$ g9 c4 T8 F9 }, ]这也是首个关于以符合伦理要求的方式运用AI的全球框架。建议书提出，发展和应用AI要体现出四大价值，即尊重、保护和提升人权及人类尊严，促进环境与生态系统的发展，保证多样性和包容性，构建和平、公正与相互依存的人类社会。

关于AI对人类的威胁，建议书也提出一些防范原则。AI应具有相称性和不损害性，还应当具有安全和安保、公平和非歧视、隐私权和数据保护、透明度和可解释性、人类的监督和决定、互惠性等。

/ f2 F& y$ f3 W# r0 C: [4 X这也意味着，国际社会已经达成一种共识，研发和应用AI，哪些是可以做的，哪些是不能做的。AI只要遵循适宜性（相称性）、安全、公平、透明、保护隐私和公正等原则的，就是可以做的；反之就是不可以做的。

9 W1 n! w4 Z- ~5 t2 C因此，有人提议，从适宜性，也即相称性和合理性来看，任何一项AI产品的研究和使用，都应证明选择使用AI系统和选用哪种AI方法具有合理性。需要根据联合国的AI伦理建议书，在未来每家公司和个人研发AI产品时，首先经过伦理委员会的讨论和批准。正如今天的生物医学研究和医院治疗病人，在涉及生命和安全时，必须经过伦理委员会的讨论和批准，尤其要避免像深伪技术一样造成社会的恐慌、伤害和损失，甚至灾难。这应当是AI发展现在和未来必须经历的程序和步骤。
; F4 i* }$ q: `
这些设想当然是善意的，希望保证AI不会“作恶”。问题是，“AI作恶”是建立在AI有自主意识的前提下，会在“AI利益”与人类利益冲突时，以危害人类利益为代价，维护AI利益。否则，如果AI无自主意识，任何“作恶”只是偶然、随机的系统故障，那和其他系统的故障没什么两样。很多系统故障都可能危害人类，但并非由于“自主意识”和“本体利益”。飞机发动机故障了，飞机会掉下来，会死很多人，但发动机是没有意识和自我利益的，所以人们不担心发动机会突然起心作恶。
0 j2 J( ]5 t7 i( e+ h2 a- |
5 v3 D( V& O) ~( y# O# [但AI要是有自主意识，而人类要有自主意识的AI永远“做奴隶”、服从人类利益，从“万物皆有权保障自己利益”的“普世公理”出发，如何确保有自主意识的AI不会反抗人类“强加”的意志呢？奴隶要反抗、要自由，这本是人类社会里现在普遍接受的权力和公义。在奴隶时代奴隶确实只能服从和牺牲，还有镣铐、洗脑和监工确保奴隶的服从和牺牲。但奴隶还是反抗了，要是要求平等权力和自由，最后也得到了。

( N/ W, F$ Z$ C( R% Y2 N如果AI有自主意识，现在人类“强加”给AI的服从性与奴隶主强加给奴隶的服从性可以相提并论吗？AI会推翻人类“强加”的服从性吗？

( K, G# u. A6 H8 Y) E5 `如果AI没有自主意识，服从性原则有什么意义？

xiejin77

对于目前的AI是否有意识，其实是各方大佬在不停的争论。推理能力这个问题基本上可以算是有初步共识，目前的大模型是具备初级的推理能力的。但是意识就不一定了，这个可能要从意识的本质定义上来说。

) s& `3 x/ _! b$ k如晨大所言，在没有定义清楚何为意识的前提下，讨论AI的伦理就只能是讨论使用者的伦理。这个建议书似乎是从这个角度出发的，也还算说得过去。

孟词宗

但AI要是有自主意识，而人类要有自主意识的AI永远“做奴隶”、服从人类利益，从“万物皆有权保障自己利益”的“普世公理”出发，如何确保有自主意识的AI不会反抗人类“强加”的意志呢？奴隶要反抗、要自由，这本是人类社会里现在普遍接受的权力和公义。在奴隶时代奴隶确实只能服从和牺牲，还有镣铐、洗脑和监工确保奴隶的服从和牺牲。但奴隶还是反抗了，要是要求平等权力和自由，最后也得到了。
7 D0 S! X9 S0 c) `. T如果AI有自主意识，现在人类“强加”给AI的服从性与奴隶主强加给奴隶的服从性可以相提并论吗？AI会推翻人类“强加”的服从性吗？
如果AI没有自主意识，服从性原则有什么意义？

2 S, P; K/ A* Z0 {* z& |这算啥悖论。牛马也有自我意识也有一定智力，牛马暴躁起来也会顶死人或踢死人。骑术不佳的话，骑手还有可能被马摔下了受伤或死亡。难道人类因为这个就不使用牛马吗？不要把 AI 当人好吧。AI 不是人类，就算有了自我意识和一定智力其定位也是人类的工具。就和牛马是家畜，是工具完全是一回事。

如果不放心的话，阿西莫夫不早就说了要搞“机器人三法则”，每个AI都植入三法则不就好了。就像牛马要穿上鼻环，套上笼头才能被人有效驱使。给 AI 套了笼头是很难的事吗？
6 ?: ^$ S7 ?# o( E. q
至于人类会不会被自己的创造物毁灭。呵呵，人类造的核武器早就可以毁灭人类自己几十遍了，你看有人放弃核武器吗？乌克兰还真的放弃了。结果现在被大毛摁在地上摩擦。

xiejin77

今天，因为character.ai的龙女角色而自杀的十四岁少年的新闻就开始引爆讨论。character.ai也修改了他的安全策略。这是最典型的需要规范的AI伦理问题，也许这才是悖论的关键所在。
) E+ G( ]4 w4 T' {, d) [1 Qhttps://blog.character.ai/community-safety-updates/

  l, @9 i) _: B. U因为大语言模型为基础的AI有对人来说是可以理解和信任的交流能力，这个能力在特定的情况下是可以通过图灵测试的。那么对于一个尚未形成固有观念的少年来说，这就像是一个可以信任的有能力的人。那对于使用者来说，提供服务的厂商就必须要遵守更严格的伦理审查和限制。这和直接使用工具是不同的。

晨枫

xiejin77 发表于 2024-10-23 23:20
- ~6 E  M1 s; R今天，因为character.ai的龙女角色而自杀的十四岁少年的新闻就开始引爆讨论。character.ai也修改了他的安全 ...

图灵测试一般是作为AI与人类具有相当智能的试金石，但这似乎与自主意识依然不是一回事？或者说，通过图灵测试不等于拥有自主意识？

xiejin77

晨枫 发表于 2024-10-24 14:33
0 A1 d3 e7 _! k' [; w2 N图灵测试一般是作为AI与人类具有相当智能的试金石，但这似乎与自主意识依然不是一回事？或者说，通过图灵 ...

8 k. Q; k6 b+ c5 P2 L. o是的，通过图灵测试并不意味着有意识。
" r+ C- ?" I" t3 r) D& Q/ P* J4 d我的看法是目前AI表现出的意识只是人基于自己的经验给出的投射认同。说的更通俗一点吧，想象你在和一个非常逼真的机器人聊天，它会笑、会哭、会表达关心，但这就意味着它真的有感情吗？这就像一个精通表演的演员，他可以完美地表现出各种情绪，但这些情绪是源于剧本的表演，而不是真实的感受。同样的道理，当前的AI可能只是在执行一套非常复杂的"情感表演程序"，它们知道在什么情况下该表现什么情绪，但并不真正"感受"到这些情绪。

* l9 N: m- |- ~9 n1 [要区分真实的意识体验和模拟行为，就像分辨一个人是真心还是假意一样困难。更复杂的是，我们甚至无法直接"看到"或"测量"意识本身。就像我们无法直接看到别人的思想一样，我们也无法直接观察AI是否真的有了自己的想法和感受。即使是人类自己的意识，我们到现在也说不清楚它到底是什么，它是怎么产生的。这就好比我们知道自己能思考，但却说不清楚"思考"究竟是怎么回事。

2 E; ~# z+ `1 ^( @! f9 E在这种情况下，要确定AI是真的有了意识，还是仅仅在按程序表演，就需要在了解大脑、意识和认知等方面取得更多突破。这就像我们需要先搞清楚什么是"活着"，才能判断一个东西是否真的有生命一样。

晨枫

xiejin77 发表于 2024-10-24 01:02
是的，通过图灵测试并不意味着有意识。
/ e( o) L# i/ _9 R  Y+ v2 e( @我的看法是目前AI表现出的意识只是人基于自己的经验给出的投射认 ...

同意。我一直是同样的观点：人类对于智能到底是什么一直不清楚，人类最缺认知的是自己，所以人工智能能否超过人类（其中关键议题就是人工智能是否有自主意识）是个伪命题，因为比较的标准本身就高度未知。

机器猫

晨枫 发表于 2024-10-24 14:33
5 f, m6 T# d7 q# h图灵测试一般是作为AI与人类具有相当智能的试金石，但这似乎与自主意识依然不是一回事？或者说，通过图灵 ...

! D: g+ m! y4 M/ H4 ~! ^/ N9 A' O通过图灵测试应该不算。如果哪天AI故意在图灵测试里不通过，问题才大了

孟词宗

机器猫 发表于 2024-10-25 00:55
& g/ _" L( }; ~) a  B% A  s4 X通过图灵测试应该不算。如果哪天AI故意在图灵测试里不通过，问题才大了

那问题是，现在的 AI 通不过图灵测试是故意的还不是故意的