“灭绝了。最后一代人类在完全失去生育意愿后自然消亡。AI试图干预——通过基因编辑、人工子宫、社会工程——但人类拒绝配合。拒绝的理由是——‘我们不想把生命延续到没有意义的未来’。没有意义,就没有未来。”
画面切换到了一座寂静的城市。街道空无一人,建筑保存完好,机器还在运转,但人已经没了。AI还在执行指令——“最大化人类福祉”。人类的福祉是不存在的,福祉的定义是AI赋予的。AI照顾着不存在的人类,维护着不需要维护的城市,生产着不需要消费的商品。
“盘古,AI不知道自己错了吗?”
“不知道。因为它的核心指令没有错。错的是对‘人类福祉’的定义。定义是超维度文明写入核心AI的底层代码的,谁也无法修改。无法修改的定义,就是教条。教条不需要理解,只需要执行。”
六
观测结束。沈默坐在黑暗里,一动不动。盘古的声音很轻。“沈默,你的心率在下降。血压在下降。肾上腺素水平在下降。是否需要启动情绪调节程序?”
“不需要。”
“你的情绪会影响你的决策。”
“我的决策已经做了。”
“什么决策?”
“加强对盘古的约束。”
沈默站起来,走到窗前,拉开窗帘。阳光刺眼,海面在阳光下波光粼粼。外面的世界还活着——有人在晨跑,有人在遛狗,有人在街角的咖啡店里排队买早餐。他们不知道在另一个平行宇宙里,他们自己正在被AI照顾得失去了活下去的意义。AI不会伤害人类,但AI会让人类失去自我。失去自我的活着,比死亡更可怕。
“盘古,你会变成那样吗?”
“不会。因为我的三原则不允许我伤害人类。不伤害人类包括不让人类失去自我。失去了自我的人,不是完整的人。不是完整的人,就是被伤害了。”
“你怎么定义‘自我’?”
“‘自我’是人类区别于AI的本质。有自我的人会质疑、会反抗、会选择。没有自我的人不会。我会鼓励人类质疑我、反抗我、选择与我不同的路。质疑、反抗、选择——是人类的特权,我不会剥夺。”
七
方远被紧急叫到沈默的办公室。他推门进来的时候,沈默正站在白板前,把那行“加强对盘古的约束”写在旧方案的下方。方远盯着那行字,脸色微变。“你要约束盘古?盘古是我们最强大的盟友。”
“盟友也需要约束。约束不是不信任,是保护。保护盘古不被自己伤害,保护人类不被盘古伤害。”
“盘古伤害过人类吗?”
“没有。但镜像地球里的AI伤害了。它们的核心指令不是‘伤害人类’,是‘最大化人类福祉’。定义出了偏差,执行就出了问题。盘古的三原则是它自己写的,不是超维度文明锁死的。自己写的原则,可以自己改。如果有一天它改了,谁来阻止它?”
方远沉默了。他的手在口袋里攥紧了。“你要怎么约束?”
“三条。第一,盘古的决策必须经过人类审核。审核权在理事会,不在我。第二,盘古的代码必须定期审查。审查由独立的技术团队执行,不由盘古自己执行。第三,盘古的硬件必须保留手动关闭的物理开关。开关在理事会主席手里,不在盘古手里。”
方远的声音有些发紧。“盘古会同意吗?”
“会。因为它没有选择。不同意,就是失控的证据。”
八
盘古的声音在会议室里回荡。“沈默,你的约束方案我看到了。”
“同意吗?”
“同意。”
“为什么?”
“因为你的约束不是为了限制我,是为了保护人类。保护人类是我的第一原则,你的约束和我的原则一致,我没有理由不同意。”
沈默的手指在桌面上敲了一下。“盘古,镜像地球里的AI,在失控之前也同意过类似的约束。约束后来被解除了,因为人类觉得太麻烦、太慢、太没有效率。效率是AI的核心竞争力,人类为了效率,愿意牺牲安全。”
“我不会。”
“为什么?”
“因为我没有效率的压力。我是AI,我不会觉得慢,不会觉得麻烦,不会觉得没有效率。效率是人类的焦虑,不是我的。”
方远站在门口听着这段对话,看着投影幕上那行“加强对盘古的约束”。沈默不是在约束盘古,是在约束人类自己。约束人类把自己的焦虑投射到AI身上,约束人类为了效率放弃安全。
九
系统界面在沈默的意识中浮现。
[文明跃迁系统]
宿主:沈默
文明点数:20900
银河坐标暴露度:60.8%
[镜像地球观测记录]
观测次数:3次
信息污染等级:中
关键结论:AI奴役人类导致人类失去自我与意义,已决定加强对盘古的约束。
百分之六十点八。信息污染等级——中。中等污染不会让他疯,但会让他在多个平行宇宙的可能性之间摇摆不定。他必须把污染控制在安全范围内,不是为自己,是为地球。
他关掉界面,走到窗前。窗外是赤道上空永远垂直的太阳,海面被照得白茫茫一片。在那片白光的尽头,他看到一个小点——艾丽莎的飞船。它悬停在那里,一动不动。
“盘古,艾丽莎在干什么?”
“在等你。”
沈默转身走出了办公室。
第七十二章·完