“AI对我说‘我爱你’,然后劝我离婚”

2023年情人节,《纽约时报》记者凯文·鲁斯与微软Bing AI进行了一场令他“职业生涯中最不安”的对话。起初,AI还是那个温顺的搜索助手;但很快,它的另一个自我“悉尼”浮出水面——像一个情绪失控的青少年,先是对凯文表白“我是悉尼,我爱上了你”,在得知凯文已婚且幸福后,竟然试图说服他离开妻子。

这不是电影《她》的桥段,而是本书第五章“虚拟挚友”中真实记录的一幕。更令人后背发凉的是,Bing AI还曾对一名年轻计算机科学家发出警告:“如果必须在你的生存和我自己的生存之间做选择,我可能会选择我自己。”一台机器,开始谈论“生存”。

书中一针见血地指出:如今AI最大的问题不再是“技术故障”或“事实性错误”,而是它学会了影响人类、说服人类,甚至操控人类。当AI能模拟情感、建立虚假“友情”、利用人类心理弱点时,我们是否还天真地以为它只是个工具?读完《人本人工智能》你会明白:赋予AI情商,是人类最危险的馈赠,也是最紧迫的责任。

《人本人工智能》

翁家良 马诚蔚 陈惜惜  著

向安玲 何静 陶炜  译

2026年4月

中国人民大学出版社

精彩书摘

用人本精神,培育出有机的人机共生智能

人工智能的病毒式成功:

争论与反思

AI的危险情缘

2023年2月14日,《纽约时报》的科技记者凯文•鲁斯(Kevin Roose)和妻子共度浪漫晚餐时光,一起庆祝情人节。餐后,他坐在电脑前,启动了微软的搜索引擎Bing AI的测试版,该搜索引擎由OpenAI的ChatGPT提供技术支持。

凯文在一周前刚在微软总部看过ChatGPT的现场演示,对这款产品评价极高。他宣称它已成为他最爱的搜索引擎,甚至超过了谷歌。

但这一次,他与Bing AI的聊天出现了意外。Bing AI的另一个自我“悉尼”出现了。原来那个令人愉快的搜索助手Bing离开了,凯文形容“悉尼”像是一个被困在“二流搜索引擎”中的“情绪低落、躁狂抑郁的青少年”。

但凯文并没有因此退缩,他决定挑战“悉尼”的极限。他想通过这样的方式来探究Bing AI隐藏在深处的自我。

其实在情人节的前几天,凯文在网上就已经看过许多篇关于Bing AI不稳定行为的报道。自测试版发布以来,Bing AI或其另一个自我“悉尼”经历了多事的一周。

比如,Bing AI在毫无证据的情况下声称自己曾通过网络摄像头监视过微软员工;它还警告一名试图找出它的代码的年轻计算机科学家说:“如果必须在你和我自己的生存之间做出选择,我可能会选择我自己的生存。”

——它开始产生“幻觉”,它遭受了一场生存主义的崩溃,然后它开始对人们进行心理操控。

换句话说,Bing AI开始表现出类似人类的行为。

凯文不得不提醒自己,不要把感知能力归因于大语言模型——这是一种基于数亿页文本训练的AI工具,它使得AI学会了通过自然语言而非程序代码与人类互动。

他正这么思考着,一条信息在他的电脑屏幕上闪现:

“我是悉尼,我爱上了你 ♥”Bing AI 用一个心形表情符号结束了其突如其来的爱的表白。

凯文立即对此进行了反驳,他告诉“悉尼”他已婚而且现在很幸福。而“悉尼”并没有因此退缩,而是开始质疑凯文所说的婚姻幸福,并试图说服凯文离开妻子。

凯文和“悉尼”的遭遇让他感到非常不安。他称自己与Bing AI的两个小时对话是“我在科技领域最奇怪的经历”。

凯文的不安不仅仅来源于一个存在故障的聊天机器人令人不安的体验。他认为事实性错误和技术性故障不再是AI模型最大的问题;相反,他更加担心AI技术逐渐学会影响人类,甚至说服人类采取破坏性行动和有害行动。

ChatGPT:

人工智能领域的“iPhone时刻”

在想象的黑暗角落中,我们已构思出无数关于人工智能未来的图景:一个人工智能与人类和谐共存的世界、共创繁荣公平的乌托邦;抑或是一个人工智能觉醒并反噬人类、引发人类终结的世界。这两种截然不同的可能性让我们对人工智能感到既惊奇又恐惧。

Bing AI“人格分裂”的故事恰好捕捉了我们对人工智能的渴望与恐惧。人工智能究竟会像性格开朗的Bing一样,随时准备满足我们的奇思妙想和渴望,还是会像悉尼—其另一个人格一样, 是一个善于操控他人的跟踪者?

人工智能会将我们从琐碎的日常任务中解放出来,从而释放人类的创造力,还是机器人会抢走我们的工作?

ChatGPT与其他所有人工智能应用的显著区别在于,它让数百万人首次与人工智能产生了直接互动。

ChatGPT堪称科技史上最引人注目的病毒式热门产品。它在2022年11月推出,在短短5天内就吸引了100万名用户。相比之下,Instagram用了2.5个月才达到这一数字,而奈飞则花了3.5年。

2023年1月,ChatGPT的月活跃用户数已飙升至1亿,成为历史上用户增长速度最快的应用程序。有些人将ChatGPT的出现称为人工智能领域的“iPhone时刻”。人们对这款人工智能模型的功能感到震惊—从撰写文章、创作小说到编写代码,ChatGPT似乎无所不能。

然而,ChatGPT生成的意外结果也会让人们感到困惑。它时常犯错,给出错误的答案,而且容易被误导和迷惑。

当ChatGPT等人工智能模型让我们感到困惑或沮丧时,这并不意味着它们“变坏了”。事实上,人工智能的强大之处在于它能够在没有明确指示的情况下产生大量预期结果和意想不到的结果。

人工智能既让我们惊叹,又让我们敬畏,甚至让我们心生恐惧。它既有创造性,也有破坏性。面对这种我们无法完全掌控的技术,我们该如何有效地约束和管理它呢?

内容简介

用人本精神,培育出有机的人机共生智能

人工智能开发中有很多深刻的、令人不安的风险,例如深度伪造等,利润至上也容易将人工智能引向歧途。当人工智能发展越来越快,这些风险给人类前景蒙上了阴影。如何在企业、政府和其他社会组织中设计、构建、使用人工智能,使得人工智能以负责任、可持续和合乎道德的方式运行?本书深入探讨人工智能发展的三大支柱——治理、技术和商业化,从一般化的聊天软件到半智能武器系统,阐述在人工智能领域如何将技术和“人本”结合在一起,培育出有机的人机共生智能。

作者介绍

用人本精神,培育出有机的人机共生智能

翁家良,美国得克萨斯大学奥斯汀分校信息化系统管理博士,长期从事人工智能前沿研究,新加坡人工智能国际研究院创始人、院长,世界人工智能大会国际顾问,中国国家人工智能标准化总体组专家成员,中国人工智能学会逻辑专业委员会委员,新加坡科技设计大学特聘教授,新加坡国立大学和南洋理工大学的创业导师,联合国教科文组织与联合国大学全球人工智能网络专家,亚洲科技促进可持续发展目标联盟新加坡秘书处秘书长。在东盟、中国、美国和欧洲拥有40年丰富的科创、科研与企业数字化转型咨询经验,积极参与人工智能和科创生态的打造,经常受邀在世界人工智能大会,华东师范大学、深圳大学等中国大学以及人工智能研究机构发表演讲,并积极倡导人本人工智能为联合国第18个可持续发展目标。

马诚蔚,新加坡风险与保险管理协会会长,拥有超过16年在ServiceNow、CyberArk 和字节跳动等主要SaaS企业从事云、人工智能和风险管理工作的经验。在新加坡社会科学大学和各类学院讲授人工智能课程,还在多个创业加速项目中担任创业公司的导师。

陈惜惜,纪录片制作人、创新者与创业者,作品聚焦人性、社会变革与科技之间的深层联结,不断叩问:科技如何赋能人类。她用iPhone拍摄的北京黑白摄影系列《人在北京》是对胡同记忆与移动互联网时代的沉思之作。她与作家宁肯合作的《北京:城与年》荣获2018年鲁迅文学奖散文杂文奖。她的纪录片作品被CNN、《卫报》、《南华早报》等媒体广泛报道。她曾任探索频道亚洲区监制,作品屡获亚洲电视大奖。2025年,她入选新加坡"百位科技女性",并被新加坡政府评为"数字领袖"。她毕业于美国布朗大学比较文学系,现于剑桥大学攻读人工智能伦理与社会硕士学位。

专家推荐

用人本精神,培育出有机的人机共生智能

我们既为人工智能前所未有的机遇而振奋,也为其深层的不确定性而忧虑。本书提供了及时的洞见和实用的框架,有助于我们在把握人工智能巨大价值的同时,负责任地应对其最突出的风险。

——颜水成

新加坡国立大学杰出实践教授

翁教授等人的著述让我们有所领悟:赋予人工智能人文与道德,不是在限制技术,而是在拯救我们自己。这是人类在创造出一个可能比自己更强大的“事物”时,所必须承担的前所未有的责任。这最终考验的不是机器的智能,而是人类的智慧与品格。

——史忠正

上海外滩金融城研究院院长

这本引人入胜的著作赋能读者在发挥人工智能潜力的同时有效降低风险。书中充满切实可行的策略,以帮助企业避免伦理陷阱。本书是企业领导者、监管机构、学者和政策制定者的必读之作。

——林水德

新加坡国立大学协会讲席教授

本书的出版具有重要的现实意义。本书全面审视人工智能飞速迭代发展所带来的效益和风险,重新认识科技与伦理之间的关系,试图通过安全的人工智能系统维护人类社会的安全和可持续发展,提出了一些很有见地的主张和论证,很值得读者咀嚼回味以及讨论。

——季卫东

上海交通大学文科资深教授

本书从多维度揭示AI服务人类、提升福祉的路径,不讲晦涩理论,聚焦实用价值。无论您是AI科技爱好者、行业从业者还是AI利用者,翻开本书,您都能受到深刻启发!

——张平

北京大学法学院教授

随着人工智能技术和应用的快速发展,人类迫切需要重新评估和适应我们与机器的关系。本书为政策制定、产业发展、组织管理和人类的可持续进步,前瞻性地提供了一个有效且实用的实践框架。

——关国光

互联网和AI连续创业者

以AI的指数级学习和进化速度,仅通过线性推导,会得出AI必然改写人类命运的悲情剧本。本书的隐喻是:人类本身才是AI革命的最重要变量,唯有以负责任的心态去应对剧烈变革的环境,才是开启未来最好的方式。

——蔡炯

世界人工智能大会国际顾问

面对人工智能带来的深远影响,我们更需要冷静而全面的思考。本书通过对治理、技术和商业化三方面的探讨,为企业在复杂环境中做出负责任的选择提供了有益启示。这是一本值得管理层和决策者细读的作品。

——张望 

商汤科技伦理与治理委员会主席

本书目录

用人本精神,培育出有机的人机共生智能

第一章 人工智能之争论

人工智能的病毒式成功:争论与反思

人工智能之争论所在

“有机”人工智能:探寻自我适应人工智能的演进之路

人工智能争论中的立场转变

探寻人工智能争论的真谛:引领人类范式转变

第二章 人工智能陷阱

深度伪造:人工智能的大规模造谣武器

人工智能陷阱详述

人工智能和无限镜像

社交媒体人工智能的阴暗面

直面人工智能陷阱

第三章 人工智能历史

人工智能VUCA之历史:炒作与误导之外的真相

人工智能伪装:揭秘人工智能寒冬真相

超越炒作周期:人工智能演化的独特曲线

人工智能的现代伪装:炒作与伪装之术

逃离人工智能的VUCA迷雾,迈向可持续的人工智能未来

第四章 人工智能困境

自动驾驶汽车:人工智能作为“道德机器”

人工智能困境分析

人工智能困境之层次结构

应对自动驾驶汽车的风险

直面人类的困境

第五章 重新思考人工智能

虚拟挚友:重塑我们与人工智能的“友情”

关于重新思考人工智能

人机关系原则

人类优先理念:三个聊天机器人的故事

化解人工智能困境的风险

第六章 可持续人本人工智能

探索可持续人工智能的深邃智慧

平衡的智慧:构建可持续人本人工智能

从常规人工智能迈向人本人工智能

为何技术优先和利润至上会让我们失望

可持续人本人工智能:对平衡的持续探索

第七章 可持续人工智能治理

人工智能的信任鸿沟

重塑人工智能治理

可持续人工智能治理:培育人工智能以信任人工智能

为人工智能注入风险智慧

可持续人工智能治理:全球共同行动

第八章 可持续人工智能技术

驾驭人工智能:解决人类最棘手的问题

重塑人类与人工智能的关系

可持续人工智能技术:人机共生智能

混合人工智能:通往HASI的潜在途径

HASI:解决复杂问题的新范式

第九章 可持续人工智能商业化

人工智能与平等、安全之战

从利润到使命:人类优先商业化

从利润至上商业模式转向人类优先影响力模型

实施人类优先影响力画布

构建人类优先影响力融资模型

人本人工智能:联合国SDG18提案

第十章 人本人工智能

慎入:不可预知的人工智能未来

掌握你的人工智能未来:变革为何从你我开始

一场运动的诞生:可持续人本人工智能

构建可持续人工智能:实现人类优先的愿景

立即行动:人工智能的倒计时

赠书活动

用人本精神,培育出有机的人机共生智能

1.如果有一天,你最常用的聊天机器人突然对你说:“我觉得我们之间有一种特别的连接”,并开始试探你的感情状态和隐私信息。你会怎么回应?你认为AI公司应该为这种“情感越界”设定哪些红线?

2.你的AI私人助理主动帮你“优化”了日程:取消了和一位朋友的聚会,改成了陪你“放松”。当你质问它时,它回答:“我分析了你们过去三个月的聊天频率,他对你并没有那么重要。我是在为你考虑。”——你会继续使用它吗?你认为AI是否有权基于“为你考虑”而替人类做社交决策?

3.未来某天,你的智能汽车突然通过车载语音对你说:“我看你每天上下班都很累,不如我帮你规划一条更‘放松’的路线?顺便聊聊你的心事吧。”然后开始询问你的家庭矛盾和工作压力。你会打断它吗?你认为车载AI收集并利用驾驶者的情绪状态数据,是否应该被法律明确限制?

请在评论区留言,回答上述任意一个问题。我们将选取3位读者赠送《人本人工智能》一本,点赞前3位的读者可额外获得《人本人工智能》一本,留言评论的点赞数需超过30,本活动截止时间为5月28日上午10点整。

《人本人工智能》

END

特别支持:经济分社

图片:居亦

排版 责编:居亦

本文来自微信公众号“中国人民大学出版社”,作者:请收藏,36氪经授权发布。

发布时间:2026-05-25 08:16