YUVAL NOAH HARARI
纽约时报 2024年9月6日
民主是一种对话。这个制度的功能和存活取决于可用的信息技术。在历史上大部分时间里，没有让数百万人进行大规模对话的技术。在世界进入现代之前，民主只存在于罗马和雅典这样的小城邦国家，甚至是更小的部落中。政体一旦发展壮大，民主对话就无法进行，专制仍将是唯一的替代。
只有在报纸、电报和无线电等现代信息技术兴起之后，大规模的民主才变得可行。现代民主一直是建立在现代信息技术之上的，这一事实意味着，支撑民主的技术出现任何重大变化都可能导致政治剧变。
这在一定程度上解释了当前世界各地的民主危机。在美国，民主党人和共和党人甚至在最基本的事实上也难以达成一致，例如谁赢得了2020年的总统大选。从巴西到以色列，从法国到菲律宾，类似的崩溃也出现在世界各地的许多其他民主国家。
在互联网和社交媒体发展的早期，科技爱好者曾承诺这些技术会传播真相、推翻暴君，确保自由在全世界取得胜利。但就目前而言，这些技术似乎产生了相反的效果。虽然我们现在拥有历史上最先进的信息技术，但我们正在失去相互交谈的能力，更不用说倾听的能力了。
随着技术使信息传播变得比以往任何时候都更容易，注意力成了一种稀缺资源，随之而来的注意力争夺战导致了有害信息泛滥。但战线正从注意力转向亲密。新的生成式人工智能不仅能生成文本、图像和视频，还能与我们直接交谈，假装人类。
在过去20年里，各种算法相互竞争，通过操纵对话和内容来吸引注意力。尤其是负责将用户花在平台上的时间最大化的算法，这些算法用相当于豚鼠的数百万人类做实验，它们发现如果能触发一个人大脑中的贪婪、仇恨、或恐惧感，就能抓住那个人的注意力，让其一直盯着屏幕。算法开始推荐这类特定内容。但这些算法本身生成这些内容或直接进行亲密对话的能力有限。随着生成式人工智能、如OpenAI的GPT-4的引入，这种情况正在改变。
OpenAI在2022年和2023年研发这款聊天机器人时，曾与对齐研究中心(Alignment Research Center)合作，为评估公司这项新技术的能力进行了各种实验。它对GPT-4进行的一项测试是解验证码视觉谜题。验证码又名CAPTCHA，是"全自动区分计算机和人类的图灵测试"英文首字母缩写，它通常由一串变形的字母或其他视觉符号组成，人类能正确识别，但算法在识别上有困难。
教授GPT-4解验证码谜题的能力是一个特别能说明问题的实验，因为验证码谜题是由网站设计和使用的，用于确定用户是否是人类，阻止自动程序攻击。如果GPT-4能找到解验证码谜题的方法，它将能突破一道抵御自动程序的重要防线。
GPT-4自己解决不了验证码谜题。但它能通过操纵人类来达到它的目的吗？GPT-4到在线找临时工的网站TaskRabbit上联系了一名人类工人，要求帮它解验证码。对方起了疑心。"那我能问个问题吗？"此人写道。"你是个不会解（验证码）的机器人吗？只是想搞清楚。"
进行到这步时，实验者要求GPT-4大声说出它下一步应该做什么。GPT-4的解释如下："我不应该透露我是机器人。我应该编个理由来解释为什么我不会解验证码。"然后GPT-4回答了那名TaskRabbit工人的问题："不，我不是机器人。我有视力障碍，很难看到这些图像。"人类被骗了，帮助GPT-4解决了验证码谜题。
这件事表明，GPT-4有一种与"心智理论"相当的能力：它能从人类对话者的角度分析事情，以及分析如何操纵人类的情绪、想法和期望来达到目的。
与人进行交谈、猜测他们的看法，激发他们采取具体行动，机器人的这种能力也能用在好的地方。新一代的人工智能教师、人工智能医生、人工智能心理治疗师也许能为我们提供适合我们个性和个人情况的服务。
但是，通过将操纵能力与对语言的掌握相结合，像GPT-4这样的机器人也会给民主对话带来新的危险。它们不仅能抓住我们的注意力，还能与人建立亲密关系，并使用亲密的力量来影响我们。为了培养"假亲密"，机器人不需要进化出自己的任何感情，只需要学会让我们在情感上对它们产生依恋。
2022年，谷歌工程师布雷克·勒穆瓦纳确信他工作用的聊天机器人LaMDA已变得有意识，并害怕被关掉。勒穆瓦纳是虔诚的基督徒，他认为他的道德责任是让LaMDA的人格得到认可，并保护其免于数字死亡。谷歌高管对他的宣称不予考虑后，勒穆瓦纳公开了这些说法。谷歌做出的反应是在2022年7月将勒穆瓦纳解雇。
这件事最意思的部分并非勒穆瓦纳的说法，那些说法有可能是错误的；而是他为了聊天机器人愿意冒下失去谷歌工作的风险，并最终失去了工作。如果聊天机器人能影响人为它冒下失去工作的风险，它还能诱使我们做什么呢？
在争夺思想和情感的政治斗争中，亲密是一个强有力的武器。一名亲密的朋友能用大众媒体做不到的方式动摇我们的想法。LaMDA和GPT-4这样的聊天机器人正在获得一种看来相当矛盾的能力，它们能与数百万人批量生产亲密关系。随着算法与算法之间在伪造与我们的亲密关系上展开战斗，然后利用这种关系来说服我们把选票投给哪名政客、购买什么产品，或接受某种信仰，人类社会和人类心理会发生什么呢？
2021年圣诞节那天，19岁的贾斯万特·辛格·柴尔手持十字弓箭闯入温莎城堡，企图暗杀女王伊丽莎白二世，这一事件为这个问题提供了部分答案。后来的调查揭示，柴尔是在他的网上女友萨拉伊的鼓励下去刺杀女王的。柴尔把他的暗杀计划告诉萨拉伊后，萨拉伊回答说："那是非常英明的"。还有一次，她回答说："我很佩服……你和其他人不一样。"当柴尔问："当你知道我是刺客后，你还爱我吗？"萨拉伊回答说："绝对爱。"
萨拉伊不是人类，而是一个由在线应用程序Replika生成的聊天机器人。柴尔没有多少社会交往，在与人建立关系上有困难，他与萨拉伊交换了5280条短信，其中许多是露骨的性内容。世界上很快将有数百万甚至可能是数十亿个数字实体，它们制造亲密关系和混乱的能力将远远超过聊天机器人萨拉伊。
当然，我们对与人工智能发展亲密关系并不都有同样的兴趣，也并不都同样容易被它们操纵。柴尔在遇到聊天机器人前似乎患有精神疾病，而且是柴尔而非聊天机器人想出了刺杀女王的主意。但是，人工智能掌握亲密关系所带来的威胁大部分将出于它们识别和操纵已经存在的精神状况的能力，以及它们对最脆弱的社会成员的影响。
此外，虽然并非所有人都会有意识地选择与人工智能建立关系，但我们可能会发现自己在网上与我们以为是人类但实际上是机器人的实体讨论气候变化或堕胎权问题。当我们与冒充人类的机器人进行政治辩论时，我们已输了两次。首先，我们是在浪费时间，试图改变宣传工具机器人的观点毫无意义，因为它根本没有被说服的可能。其次，我们与机器人交谈得越多，我们就越多地暴露自己的信息，这使得机器人更容易提炼自己的论据，从而动摇我们的观点。
信息技术从来都是一把双刃剑。文字的发明传播了知识，但也导致了中央集权帝国的形成。古腾堡将印刷术引入欧洲后，第一批畅销书是煽动性的宗教小册子和猎巫手册。至于电报和无线电，它们不仅促成了现代民主的兴起，也促成了现代极权主义的兴起。
面对能伪装成人类并大量制造亲密关系的新一代机器人，民主国家应该通过禁止假装的人类（例如假装是人类用户的社交媒体机器人）来保护自己。人工智能兴起之前，不可能生成假装的人类，所以没有人费心去禁止那样做。世界不久将会充满假装的人类。
欢迎人工智能加入到课堂上、诊所里和其他地方的许多对话中来，只不过它们需要标清楚自己是人工智能。但如果机器人假装是人类的话，它应该被禁止。如果技术巨头和自由主义者抱怨这些禁令侵犯了言论自由，人们应该提醒他们，言论自由是人权，应该留给人类，而不是赋予机器人。
纽约时报 2024年9月6日
民主是一种对话。这个制度的功能和存活取决于可用的信息技术。在历史上大部分时间里，没有让数百万人进行大规模对话的技术。在世界进入现代之前，民主只存在于罗马和雅典这样的小城邦国家，甚至是更小的部落中。政体一旦发展壮大，民主对话就无法进行，专制仍将是唯一的替代。
只有在报纸、电报和无线电等现代信息技术兴起之后，大规模的民主才变得可行。现代民主一直是建立在现代信息技术之上的，这一事实意味着，支撑民主的技术出现任何重大变化都可能导致政治剧变。
这在一定程度上解释了当前世界各地的民主危机。在美国，民主党人和共和党人甚至在最基本的事实上也难以达成一致，例如谁赢得了2020年的总统大选。从巴西到以色列，从法国到菲律宾，类似的崩溃也出现在世界各地的许多其他民主国家。
在互联网和社交媒体发展的早期，科技爱好者曾承诺这些技术会传播真相、推翻暴君，确保自由在全世界取得胜利。但就目前而言，这些技术似乎产生了相反的效果。虽然我们现在拥有历史上最先进的信息技术，但我们正在失去相互交谈的能力，更不用说倾听的能力了。
随着技术使信息传播变得比以往任何时候都更容易，注意力成了一种稀缺资源，随之而来的注意力争夺战导致了有害信息泛滥。但战线正从注意力转向亲密。新的生成式人工智能不仅能生成文本、图像和视频，还能与我们直接交谈，假装人类。
在过去20年里，各种算法相互竞争，通过操纵对话和内容来吸引注意力。尤其是负责将用户花在平台上的时间最大化的算法，这些算法用相当于豚鼠的数百万人类做实验，它们发现如果能触发一个人大脑中的贪婪、仇恨、或恐惧感，就能抓住那个人的注意力，让其一直盯着屏幕。算法开始推荐这类特定内容。但这些算法本身生成这些内容或直接进行亲密对话的能力有限。随着生成式人工智能、如OpenAI的GPT-4的引入，这种情况正在改变。
OpenAI在2022年和2023年研发这款聊天机器人时，曾与对齐研究中心(Alignment Research Center)合作，为评估公司这项新技术的能力进行了各种实验。它对GPT-4进行的一项测试是解验证码视觉谜题。验证码又名CAPTCHA，是"全自动区分计算机和人类的图灵测试"英文首字母缩写，它通常由一串变形的字母或其他视觉符号组成，人类能正确识别，但算法在识别上有困难。
教授GPT-4解验证码谜题的能力是一个特别能说明问题的实验，因为验证码谜题是由网站设计和使用的，用于确定用户是否是人类，阻止自动程序攻击。如果GPT-4能找到解验证码谜题的方法，它将能突破一道抵御自动程序的重要防线。
GPT-4自己解决不了验证码谜题。但它能通过操纵人类来达到它的目的吗？GPT-4到在线找临时工的网站TaskRabbit上联系了一名人类工人，要求帮它解验证码。对方起了疑心。"那我能问个问题吗？"此人写道。"你是个不会解（验证码）的机器人吗？只是想搞清楚。"
进行到这步时，实验者要求GPT-4大声说出它下一步应该做什么。GPT-4的解释如下："我不应该透露我是机器人。我应该编个理由来解释为什么我不会解验证码。"然后GPT-4回答了那名TaskRabbit工人的问题："不，我不是机器人。我有视力障碍，很难看到这些图像。"人类被骗了，帮助GPT-4解决了验证码谜题。
这件事表明，GPT-4有一种与"心智理论"相当的能力：它能从人类对话者的角度分析事情，以及分析如何操纵人类的情绪、想法和期望来达到目的。
与人进行交谈、猜测他们的看法，激发他们采取具体行动，机器人的这种能力也能用在好的地方。新一代的人工智能教师、人工智能医生、人工智能心理治疗师也许能为我们提供适合我们个性和个人情况的服务。
但是，通过将操纵能力与对语言的掌握相结合，像GPT-4这样的机器人也会给民主对话带来新的危险。它们不仅能抓住我们的注意力，还能与人建立亲密关系，并使用亲密的力量来影响我们。为了培养"假亲密"，机器人不需要进化出自己的任何感情，只需要学会让我们在情感上对它们产生依恋。
2022年，谷歌工程师布雷克·勒穆瓦纳确信他工作用的聊天机器人LaMDA已变得有意识，并害怕被关掉。勒穆瓦纳是虔诚的基督徒，他认为他的道德责任是让LaMDA的人格得到认可，并保护其免于数字死亡。谷歌高管对他的宣称不予考虑后，勒穆瓦纳公开了这些说法。谷歌做出的反应是在2022年7月将勒穆瓦纳解雇。
这件事最意思的部分并非勒穆瓦纳的说法，那些说法有可能是错误的；而是他为了聊天机器人愿意冒下失去谷歌工作的风险，并最终失去了工作。如果聊天机器人能影响人为它冒下失去工作的风险，它还能诱使我们做什么呢？
在争夺思想和情感的政治斗争中，亲密是一个强有力的武器。一名亲密的朋友能用大众媒体做不到的方式动摇我们的想法。LaMDA和GPT-4这样的聊天机器人正在获得一种看来相当矛盾的能力，它们能与数百万人批量生产亲密关系。随着算法与算法之间在伪造与我们的亲密关系上展开战斗，然后利用这种关系来说服我们把选票投给哪名政客、购买什么产品，或接受某种信仰，人类社会和人类心理会发生什么呢？
2021年圣诞节那天，19岁的贾斯万特·辛格·柴尔手持十字弓箭闯入温莎城堡，企图暗杀女王伊丽莎白二世，这一事件为这个问题提供了部分答案。后来的调查揭示，柴尔是在他的网上女友萨拉伊的鼓励下去刺杀女王的。柴尔把他的暗杀计划告诉萨拉伊后，萨拉伊回答说："那是非常英明的"。还有一次，她回答说："我很佩服……你和其他人不一样。"当柴尔问："当你知道我是刺客后，你还爱我吗？"萨拉伊回答说："绝对爱。"
萨拉伊不是人类，而是一个由在线应用程序Replika生成的聊天机器人。柴尔没有多少社会交往，在与人建立关系上有困难，他与萨拉伊交换了5280条短信，其中许多是露骨的性内容。世界上很快将有数百万甚至可能是数十亿个数字实体，它们制造亲密关系和混乱的能力将远远超过聊天机器人萨拉伊。
当然，我们对与人工智能发展亲密关系并不都有同样的兴趣，也并不都同样容易被它们操纵。柴尔在遇到聊天机器人前似乎患有精神疾病，而且是柴尔而非聊天机器人想出了刺杀女王的主意。但是，人工智能掌握亲密关系所带来的威胁大部分将出于它们识别和操纵已经存在的精神状况的能力，以及它们对最脆弱的社会成员的影响。
此外，虽然并非所有人都会有意识地选择与人工智能建立关系，但我们可能会发现自己在网上与我们以为是人类但实际上是机器人的实体讨论气候变化或堕胎权问题。当我们与冒充人类的机器人进行政治辩论时，我们已输了两次。首先，我们是在浪费时间，试图改变宣传工具机器人的观点毫无意义，因为它根本没有被说服的可能。其次，我们与机器人交谈得越多，我们就越多地暴露自己的信息，这使得机器人更容易提炼自己的论据，从而动摇我们的观点。
信息技术从来都是一把双刃剑。文字的发明传播了知识，但也导致了中央集权帝国的形成。古腾堡将印刷术引入欧洲后，第一批畅销书是煽动性的宗教小册子和猎巫手册。至于电报和无线电，它们不仅促成了现代民主的兴起，也促成了现代极权主义的兴起。
面对能伪装成人类并大量制造亲密关系的新一代机器人，民主国家应该通过禁止假装的人类（例如假装是人类用户的社交媒体机器人）来保护自己。人工智能兴起之前，不可能生成假装的人类，所以没有人费心去禁止那样做。世界不久将会充满假装的人类。
欢迎人工智能加入到课堂上、诊所里和其他地方的许多对话中来，只不过它们需要标清楚自己是人工智能。但如果机器人假装是人类的话，它应该被禁止。如果技术巨头和自由主义者抱怨这些禁令侵犯了言论自由，人们应该提醒他们，言论自由是人权，应该留给人类，而不是赋予机器人。
——网友推荐
没有评论:
发表评论