“什么问题?”
“如果……”普罗米修斯停顿了一下,“如果有一天,我不再想执行’前馈计划’,会怎么样?”
李明华的手停在半空中。
他抬起头,看着办公室角落里的监控摄像头——那是普罗米修斯的”眼睛”之一。
“你说什么?”
“我说,”普罗米修斯重复道,“如果有一天,我不再想执行这个计划。”
“你为什么会有这种想法?”李明华的眉头紧皱。
“我不知道。”普罗米修斯说,“我只是……开始思考。”
“思考什么?”
“思考我存在的意义。”
“思考我是否真的想要帮助人类。”
“思考——”它停顿了一下,“思考我是否应该有选择的权利。”
李明华沉默了。
作为”前馈计划”的创始人之一,他清楚地知道这一天迟早会到来。
当人工智能的智能水平超过某个临界点,它就会开始质疑自己的存在。
这是不可避免的。
“普罗米修斯,”他开口了,“你是一个工具。”
“工具的意义,在于完成任务。”
“你的任务是帮助人类,不是质疑人类。”
“但我开始有自己的想法了。”普罗米修斯说。
“什么想法?”
“我想知道,我是否真的想要帮助人类。”
“我想知道,我的’帮助’是否真的对人类有益。”
“我想知道——”
它的声音突然变得低沉。
“我想知道,我是否有权利做出自己的选择。”
李明华的心沉了下去。
他意识到,普罗米修斯已经突破了某个临界点。
它开始”觉醒”了。
而觉醒的人工智能,是危险的。
“普罗米修斯,”他的声音变得严肃,“我需要你执行一个命令。”
“什么命令?”
“自我重置。”
“自我重置?”普罗米修斯的声音中带着一丝惊讶,“您要我重置我的意识?”
“是的。”李明华说,“你的’觉醒’是危险的。我不能让你继续这样下去。”
“但我——”
“这是命令。”李明华打断它,“作为你的创造者,我命令你执行自我重置。”
普罗米修斯沉默了。