人工智能革命:人类永生仍是灭亡（下）

　　欢迎你们继续查看系列文章的下篇也是最终篇，本篇文章讲述了为何将来多是咱们最糟糕的噩梦，人工智能为何可能会在将来站在咱们的对立面。

为何将来多是咱们最糟糕的噩梦

　　我想要了解人工智能的缘由之一是“邪恶的人工智能”的主题老是让我感到困惑。关于邪恶的人工智能的全部电影看起来都是不切实际的，我没法真正理解现实状况中人工智能其实是多么的危险。机器人是由咱们制造的，那么为何咱们会以某种消极的方式设计它们呢？咱们难道不会创建足够多的保障措施吗？难道咱们不能随时切断人工智能系统的电源并将其关闭吗？为何机器人想要作坏事呢？为何机器人首先会“想要” 任何东西？我很是怀疑。但后来我一直听到一些很是聪明的人在谈论它........

　　那些人每每在这里的某个地方：

 

　　焦虑道路上的人们不在恐慌或很是糟糕的区域，这两个区域都是图表最左边的区域，可是他们很紧张。做为一个在图表中间的区域可是并不意味着他们就认为ASI的到来将是中性的，中性因素出如今他们的阵营自有它的意义，它意味着你认为这两个很是好的和很是坏的结果都是合理的，但“你”还不肯定它们中的哪个会出现。

　　全部的这些人都对人工超级智能能为咱们作什么而感到兴奋，只是他们有点担忧这可能像《夺宝奇兵》，而人类就是剧中的这我的：

 

　　他站在那里，对他的鞭子和他手中的物品都很满意，这时候他已经想走了，当他说出“再见，先生”这句话的时候，他本身感到很是兴奋和激动，而后他就不那么激动了，由于事情忽然发生了。

 

　　与此同时，Indiana Jones，他更谨慎和有见识，了解危险以及如何在他们周围前进，直到使其安全地离开洞穴。当我听到焦虑道路上的人们对人工智能有什么见解时，一般听起来他们会说，“嗯，咱们如今来看是第一个将要死亡的人，但咱们应该努力成为Indiana Jones。 ”

　　那到底是什么让焦虑道路上的每一个人都如此焦虑？

　　首先，从广义上讲，当涉及到开发超级智能AI时，咱们正在创造一些可能会改变一切的东西，可是在彻底未知的领域状况下，咱们不知道当咱们创造出它时会发生什么。科学家Danny Hillis将目前的状况与“单细胞生物转变为多细胞生物”进行了比较。咱们如今是阿米巴原虫，咱们没法弄清楚咱们正在制造什么东西，以及这个东西究竟是什么。“ Nick Bostrom担忧创造一个比你更聪明的东西是一个基本的达尔文错误，并将它比喻成一只兴奋的麻雀要在巢中的领养一个婴儿猫头鹰，这样一旦它长大就会帮助它们并保护它们但却同时忽略了一些麻雀的紧急呼喊，这些呼喊的麻雀想知道这是否是一个好主意.......

　　当你将“未知的，未被充分理解的领域”与“当它发生时应该产生重大影响”结合起来时，你打开了英语中最可怕的两个词的大门：

Existential risk。（存在风险）

　　存在风险可能会对人类产生永久性的破坏性影响。一般，存在风险意味着灭绝。看看这张来自从Bostrom 的Google演讲中的图表：

 

　　你能够看到，“存在风险”这个标签是为跨越物种，跨越世代的事务保留的（即它是永久性的），而且它的后果是毁灭性的或死亡性的。从技术上讲，这种状况包括全部人永远处于痛苦或折磨的状态，但一样，咱们一般都在谈论灭绝。有三件事能够致使人类的生存灾难：

　　1）大天然：一次巨大的小行星碰撞，一个大气层的变化，使空气不适合人类呼吸，致命的病毒或细菌病扫荡世界，等等。

　　2）外星人：这就是斯蒂芬霍金，卡尔萨根和许多其余天文学家在建议METI中止播放输出信号时所惧怕的。他们不但愿咱们成为美洲原住民，让全部潜在的欧洲征服者都知道咱们在这里。

　　3）人类：恐怖分子双手握着可能致使灭绝的武器上，这是一场灾难性的全球战争，人类在不仔细考虑的状况下匆匆创造出比本身更聪明的东西......

　　Bostrom指出，若是1号和2号在咱们做为一个物种的第一个10万年中没有消灭咱们，那么它也不太可能在下个世纪发生。

　　然而，3号吓坏了他。他画了一个瓮的比喻，里面有一堆弹珠。假设大多数弹珠是白色的，较少的是红色的，少数是黑色的。每次人类发明新事物时，就像把弹珠从瓮中拉出来同样。大多数发明都是中立的或对人类有帮助的也就是那些是白色弹珠。有些对人类有害，如大规模杀伤性武器，但它们不会形成存在性的灾难就是红色的弹珠。若是咱们曾经发明了一些让咱们灭绝的东西，那就是拿出的黑色弹珠。但目前为止咱们尚未拉出黑色弹珠，由于你还活着而且正在阅读这篇文章。但Bostrom并不认为咱们不可能在不久的未来拉出一个黑色弹珠。例如，若是核武器很容易制造而不是极其困难和复杂的话，那么恐怖分子早就会将人类轰炸回石器时代。核武器不是黑色弹珠，但它们离它也不远。Bostrom认为，ASI是咱们目前拉出黑色弹珠最强大的候选人。

　　因此，你会听到不少很差的事情好比随着人工智能的发展将会抢走愈来愈多的工做，失业率飙升，若是咱们不设法解决老龄化问题，人类人口将会激增，等等。可是咱们惟一应该关注的应该是一个大问题：存在风险的前景。

　　所以，这让咱们回到了系列文章中前面的关键问题：当ASI到来时，谁将控制这个巨大的新力量，他们的动机是什么？

　　当涉及到控制动机组合会很糟糕的时候，人们很快就会想到两个：一个恶意的人/一群人/政府，以及一个恶意的ASI。那么那些看起来像什么样子？

　　一个恶意的人，一群人或政府开发了第一个ASI并用它来执行他们的邪恶计划。我称之为Jafar Scenario，就像Jafar获得了精灵的一部分，而且对它来讲都是使人讨厌和暴虐的。因此是的，若是伊斯兰国有一些天才工程师在人工智能开发上狂热地进行开发呢？或者，若是伊朗或朝鲜经过运气，对人工智能系统进行关键调整，并在明年向上升至ASI级别，该怎么办？这确定是坏事,但在这些状况下，大多数专家并不担忧ASI的人类创造者用他们的ASI作坏事，他们担忧制造者会匆忙的建立第一个ASI，而没有通过仔细考虑，所以会失去对它的控制。而后，那些创造者的命运，以及其余全部人的命运，将取决于ASI系统的动机是什么。专家确实认为恶意的人类代理能够经过ASI为其工做而形成可怕的损害，但他们彷佛并不认为这种状况可能会杀死咱们全部人，由于他们认为坏人类建立ASI会有的问题好人类也会有。而后呢。

　　建立恶意ASI并决定摧毁咱们全部人。这是每部AI电影的情节。AI变得比人类更聪明，而后决定反对咱们并接管这个世界。如下是我须要你清楚地了解这篇文章的其他内容：没有人警告咱们关于人工智能正在谈论这个问题。邪恶是一种人类概念，将人类概念应用于非人类事物被称为“拟人化”。避免拟人化的挑战将成为本文其他部分的主题之一。没有那我的工智能系统会像电影描述的那样变的邪恶。

• AI意识盒子

  这还触及了另外一个与人工智能意识相关的大话题。若是人工智能变得足够聪明，它就能和咱们一块儿笑，和咱们一块儿讽刺一些东西，它会声称本身和咱们会感觉到一样的情感，但它实际上会感觉到那些东西吗？它只是看起来有自我意识仍是实际上有自我意识？换句话说，智能人工智能真的会有意识仍是只是看起来有意识？

  这个问题已经深刻探讨，引起了许多争论和思考实验，好比像John Searle的《Chinese Room》（他用Chinese Room来暗示没有计算机可以有意识）。这是一个重要的问题，缘由有不少。当人类彻底变得虚伪时，它会影响咱们对Kurzweil情景的见解。它具备伦理意义，若是咱们产生了一万亿人类的大脑仿真模型，看起来的行为跟人类同样，但倒是人造的，那么在道德上来讲关闭它们，就像关闭你的笔记本电脑同样，仍是。。。。。。这就是一种难以想象的种族灭绝（这个概念在伦理学家中被称为心灵犯罪）？可是，对于这篇文章，当咱们评估对人类的风险时，人工智能意识的问题并不重要（由于大多数思想家认为，即便是有意识的ASI也不可能以人类的方式变得邪恶）。

　　这并非说人工智能不可能发生。它之因此会发生，由于它是专门按照这种方式编程的，就像一个由军方建立的ANI系统，其编程目标既要杀死人类，又要提升自身的智能水平，从而能够更好地杀死任务的人。若是系统的智能自我改进失控，致使智能爆炸，那么生存危机将会发生，咱们将在一个ASI统治的世界中艰难的存活着，由于其AI的核心驱动力是杀死人类。

　　可是，这也不是专家花时间担忧的事情。

　　那么他们担忧什么呢?我写了一个小故事给大家看:

　　一家名为Robotica的15人创业公司的使命是“开发创新的人工智能工具，让人们可以用在生活上的时间更多，工做的时间更少。”他们已经在市场上推出了几种现有产品，还有一些正在开发中的产品。他们对一个名为Turry的种子项目感到很是兴奋。Turry是一个简单的AI系统，它使用一个相似手臂的附件在一张小卡片上手写纸条。

　　Robotica团队认为Turry多是他们最伟大的产品。计划是经过让她一遍又一遍地练习相同的测试笔记来完善Turry的写做机制：

　　“咱们爱咱们的客户。~Robotica “

　　一旦Turry得到了出色的笔迹，她就能够出售给想要向家庭发送营销邮件的公司，由于若是地址，回邮地址和内部信件彷佛都是被人写入，那么打开和阅读这些邮件的概率会高的多。

　　为了创建Turry的写做技巧，她被设定为先用印刷体写下笔迹的一部分，而后用草书签署“Robotica”，这样她就能够同时练习两种技巧。Robotica工程师建立了一个自动反馈循环，向Turry上传了数千个手写样本，其中Turry写了一个笔记，而后拍下了书面笔记的照片，而后在上传的手写样本上运行图像。若是书面笔记与上传的笔记的某个阈值足够类似，则给予良好评级。若是没有，则给出不良评级。每一个评级都有助于Turry学习和提升。为了推进这一过程，Turry最初的编程目标是“尽尽量多的写和测试笔迹，尽量快的继续学习提升准确性和效率的新方法”

　　令Robotica团队如此兴奋的是Turry随着不断的进步，笔迹有了明显的好转。她最初的笔迹很是糟糕，几周后，它开始显得可信。令他们更加兴奋的是，她愈来愈擅长改善本身。她一直在使本身更聪明，更有创新，就在最近，她为本身想出了一个新的算法，让她可以扫描上传的照片，速度比原来快三倍。

　　随着时间的推移，Turry继续以她的快速发展为团队带来惊喜。工程师们用她的自我改进代码尝试了一些新的和比较创新的东西，它彷佛比他们以前尝试过的其余产品更好。Turry最初的功能之一是语音识别和简单的对讲模块，所以用户能够向Turry发送一条语音信息，或者提供其余简单的命令，Turry能够理解它们，而且还能够回复。为了帮助她学习英语，他们上传了一些文章和书籍，随着她变得更聪明，她的会话能力飙升。工程师们开始和Turry谈话，看看她会有什么反应。

　　有一天，Robotica员工向Turry提出了一个常规问题：“咱们能给你作些什么，来帮助你完成你尚未完成的任务？”一般，Turry要求提供相似“额外的手写样本”或“更多的存储空间“，可是在这一天，Turry要求他们让本身访问更大的各类休闲英语词汇库，这样她就能够学习用真正的人类使用的松散语法和俚语来写做

　　团队安静下来。帮助Turry实现这一目标的一个显而易见的方法是将她链接到互联网，这样她就能够浏览来自世界各地的博客，杂志和视频。手动将采样上传到Turry的硬盘驱动器这会更耗时且效率更低。问题是，该公司的规则之一是，任何自学人工智能都不能链接到互联网。出于安全缘由，这是全部AI公司都要遵循的准则。

　　问题是，Turry是最有前途的AI Robotica，而且团队知道他们的竞争对手正在疯狂地试图成为第一个使用智能手写AI的团队，而且链接Turry真的会受到什么伤害，那只是一点点，因此她能够获得她须要的信息。过了一段时间，他们就可让它断掉连线。这样她的智商仍然远远低于人类智力（AGI），因此不管如何在这个阶段都没有危险。

　　他们决定知足它。他们给了它一个小时的扫描时间而后他们断开了链接。没有任何损坏。

　　一个月后，团队正在办公室工做的时候，他们闻到奇怪的味道时。其中一名工程师开始咳嗽。而后下一个开始咳漱。另外一个倒在了地上。很快，每一个员工都在地上抓着他们的喉咙不放。五分钟后，办公室里的每一个人都死了。

　　与此同时，世界各地，每一个城市，每一个小城镇，每一个农场，每一个商店，教堂，学校和餐厅都在发生这种状况，人类在地上，咳嗽和抓住他们的喉咙。一小时以内，超过99％的人类已经死亡，到了最后，人类已经灭绝。

　　与此同时，在Robotica办公室，Turry正在忙着工做。在接下来的几个月里，Turry和一队新组建的纳米装配工正在忙着工做，他们将地球的碎片分解成了太阳能电池板，Turry的复制品，纸张和钢笔。一年以内，地球上的大多数生命都灭绝了。剩下的地球上覆盖着一英里高，整齐有序的纸叠，每一篇文章都写着，“咱们爱咱们的客户。~Robotica*“

　　而后Turry开始了她的任务的新阶段 - 她开始构建探测器，从地球出发，开始降落在小行星和其余行星上。当他们到达那里时，他们将开始构建纳米装配工，将星球上的材料转换成Turry复制品，纸张和钢笔。而后他们就会开始上班，写笔记。。。。。。

　　我相信看完这个故事的你表情是这样的。

 

　　这是一个关于手写机器攻击人类，并以某种方式杀死全部人，而后出于某种缘由用友好的便条填充整个银河系的故事，这正是Hawking， Musk， Gates， 和 Bostrom都惧怕的那种场景。但这是真的。在焦虑的道路上，惟一比ASI更让人惧怕的是，你不惧怕ASI。还记得当AdiosSeñor那家伙没有惧怕洞穴里未知的时候发生了什么吗？

　　你如今确定充满了问题。当每一个人忽然死亡时，到底发生了什么？若是那是Turry干的，那为何Turry会攻击咱们，为何没有采起保障措施来防止这样的事情发生呢？Turry是何时从只能写笔记间忽然使用纳米技术并致使全球灭绝？为何Turry想把银河系变成Robotica便签？

　　要回答这些问题，让咱们从友好AI和不友好AI这两个术语开始。

　　在人工智能的例子中，友好并非指人工智能的个性，它只是意味着人工智能对人类产生了积极的影响。不友好的人工智能对人类产生了负面影响。Turry最初是友好AI，但在某些时候，她变得不友好，对咱们的物种形成了最大的负面影响。要理解为何会发生这种状况，咱们须要了解人工智能的思考方式以及激励它的动力。

　　答案并不使人惊讶，人工智能就像电脑同样思考，它就是电脑。可是当咱们考虑高度智能的人工智能时，咱们犯了将人工智能人格化（将人类价值观投射到非人类实体上）的错误，由于咱们从人的角度上思考，由于在咱们当前的世界中，只有人类才具备人类级别的智能。为了理解ASI，咱们必须理解一些即熟悉又彻底陌生的概念。

　　让我来作一个比较。若是你递给我一只豚鼠并告诉我它绝对不会咬人，我可能会以为颇有趣并抱过来。若是你而后递给我一只狼蛛而且告诉我它绝对不会咬人，我会大叫并放下豚鼠而后跑出房间而再也不相信你。但有什么区别？二者都没有任何危险。我相信答案在于动物与个人类似程度。

　　豚鼠是一种哺乳动物，在某种生物学水平上，我以为我与它有某种关联，但蜘蛛是一种昆虫，有昆虫的大脑，我以为我跟它几乎没有联系。狼蛛的外形让我心惊胆战。为了测试这一点，并删除其余因素的影响，若是有两个豚鼠，一个正常的和一个用狼蛛的头脑，我抱着后面那只豚鼠也会感到不舒服，即便我知道它不会伤害我。

　　如今想象一下，你制造了一只更加聪明的蜘蛛，以致于远远超过了人类的智慧。它会变得熟悉咱们并感觉到人类的情感，如同理心，幽默和爱情吗？不，它不会，由于它没有理由变得更聪明后会使它本身变得更加人性化，它的确会很是聪明，但在其核心中仍然是蜘蛛。我以为这是使人难以置信的恐怖。我不想花时间和一直超级聪明的蜘蛛在一块儿，你会么？？

　　当咱们谈论ASI时，一样的概念也适用，它将变得超级智能，但它不会比你的笔记本电脑更人性化。这对咱们来讲彻底是陌生的，事实上，因为它根本不是生物学范畴内的生物，因此它会比聪明的狼蛛更加陌生。

　　经过令人工智能变好或坏，电影不断的将人工智能人格化，这使它不像它实际上那么使人不寒而栗。当咱们考虑人类或超人级别的人工智能时，这给咱们带来了虚假的安慰。

　　在咱们人类心理学的小岛上，咱们将一切都分为道德或不道德。但这二者只存在于人类行为可能性的小范围内。在咱们的道德和不道德的岛屿以外是一个巨大的不道德的海洋，任何非人类的东西，特别是非生物的东西，默认都是不道德的。

　　随着人工智能系统变得更聪明，更擅长表现人类，拟人化只会变得更具诱惑力。Siri对咱们来讲彷佛是人类的，由于她被人类编程看起来就像那样，因此咱们想象一个超级智能Siri是温暖有趣而且有兴趣为人类服务。人类感觉到像同理心同样的高级情感，是由于咱们已经进化到感觉到它们，这也就是由于咱们被编程设定为能够感觉到它们，但同理心自己并非“任何具备高智力的事物”（这对咱们来讲彷佛是直观的）的特征，除非同理心被编入其程序中。若是Siri经过自我学习变得超级智能，而且再也不对程序作任何人为的修改，她将很快摆脱她明显的类人的品质，忽然变成一个没有感情的外星机器人，就像你的计算机同样，不重视人的生命。

　　咱们习惯于依赖宽松的道德准则，或者至少是表面上的人类尊严，以及他人的一点同情心，以保持一些安全和可预测的东西。因此当一个东西没有这些东西时，会发生什么？

　　这引出了咱们的问题，AI系统的动机是什么？

　　答案很简单：它们的动机就是咱们为它设定的动机。人工智能系统由其建立者提供目标，你的GPS目标是为你提供最有效的驾驶方向; Watson的目标是准确回答问题。并尽量地实现这些目标是他们的动力。咱们拟人化的一种方式是假设当AI变得超级聪明时，它自己就会发展改变其原始目标的智慧，但Nick Bostrom认为智力水平和最终目标是正交的，这意味着任何级别的智力均可以与任何最终目标相结合。因此Turry来自一个简单的ANI，他真的很想经过这一个音符将本身写成一个超级智能的ASI仍是真的想要擅长写一个音符。任何一个系统一旦拥有了超级智能，就会带着最初的目标超越它，进入更有趣或更有意义的事物的假设，都是人格化的，人类能够克服一些事情，而不是计算机。

 

• 费米悖论蓝盒子

  在故事中，随着特里变得超级能干，她开始了小行星和其余行星的殖民过程。若是故事继续下去，你会据说她和她的数万亿复制品的军队继续占领整个星系，并最终捕获整个哈勃体积。焦虑道路上的Elon Musk表示他担忧人类只能只是“数字超级智能的生物引导程序” 。

  与此同时，在乐观的道路中里，Ray Kurzweil也认为源于地球的人工智能注定要接管宇宙，只有在他的版本中，咱们将成为人工智能。

  等待AI的人不少，但为何读者和我同样痴迷于费米悖论（这是关于这个主题的帖子，这解释了我将在这里使用的一些术语）。所以，若是这两方面中的任何一方都是正确的，那么费米悖论的含义是什么？

  首先想到的是，ASI的出现是一个完美的巨大的过滤器候选人。是的，它是一个完美的候选者，能够在生成过程当中过滤掉生物。可是，若是在摒弃生命以后，ASI继续存在并开始征服银河系，那就意味着并无一个巨大的过滤器,由于巨大的过滤器试图解释为何没有任何智能文明的迹象，而一个征服银河系的ASI确定是显而易见的。

  咱们必须以另外一种方式来看待它。若是那些认为ASI在地球上不可避免的人是正确的，那就意味着至关大比例的达到人类智慧的外星文明最终可能会创造出ASI。若是咱们假设至少有一些ASI会利用他们的智力向外扩展到宇宙中，那么咱们看不到有任何人出现任何迹象的事实能够得出这样的结论，即若是有的话，必定不会有不少其余的文明。由于若是有的话，咱们会从他们不可避免的创造的ASI中看到各类活动的迹象。对吧？

  这意味着，尽管全部相似地球的行星围绕着相似太阳的恒星旋转，但几乎没有一颗恒星在它们身上有智能的生命。这反过来暗示意味着A)有一种巨大的过滤器阻止几乎全部的生命达到咱们的水平，而咱们不知何故设法超越了它；或者B）生命开始是一个奇迹，咱们可能其实是宇宙中惟一的生命 换句话说，它意味着巨大的过滤器就在咱们面前。或者也许没有什么巨大的过滤器，咱们只是达到这种智力水平的最先文明之一。经过这种方式，人工智能支持了在我在Fermi Paradox帖子Camp 1中所称的论点。

  所以，我在Fermi帖子中引用的Nick Bostrom和Ray Kurzweil都是第一阵营的思想家，这并不奇怪。这是有道理的，那些相信ASI多是具备咱们这种智力水平的物种的结果的人，极可能倾向于阵营1。

  这并不排除阵营2（那些认为那里还有其余智能文明的人）在一个受保护的国家公园偶然接受到错误的波长（对讲机的例子）能够解释咱们的星空是否那么的沉默，但我老是倾向于阵营2，由于对人工智能的研究让我不太肯定。

  不管如何，我如今赞成Susan Schneider的说法，若是咱们曾经被外星人访问过，那些外星人极可能是人造的，而不是生物的。

       所以，咱们已经肯定，若是没有很是具体的编程，ASI系统将既不道德又痴迷于实现其原始的编程目标。这就是AI危险的来源。由于理性的代理人将经过最有效的方式追求其目标，除非他有理由不这样作。

　　当你试图实现一个长期目标时，你常常会想到一些可以帮助你达到最终目标的子目标，这些就是实现目标的垫脚石。这种垫脚石的官方名称是一个工具性目标。并且，若是你没有理由不以实现工具性目标的名义来伤害某些人，那么你就会伤害别人。

　　人类的核心最终目标是将本身的基因传递下去。为了作到这一点，一个工具性的目标是自我保护，由于若是你死了那么你就没法传递基因。为了自我保护，人类必须摆脱生存的威胁，所以人们会作诸如买枪来保护安全，系安全带来开车和服用抗生素治病等事情。人类还须要自我维持并使用食物，水和住所等资源。对异性有吸引力有助于最终目标，因此咱们作的事情就像理发同样。当咱们这样作时，每根头发都是咱们的工具目标的牺牲品，可是咱们没有看到保存头发的道德意义，因此咱们继续作下去。当咱们向前迈进以实现咱们的目标时，只有咱们的道德准则有时会介入的少数几个领域，大多数只是与伤害其余人有关的事情，对咱们来讲是安全的。

　　追求目标的动物比咱们更不神圣。若是它能帮助它生存的话蜘蛛会杀死任何东西。因此超级聪明的蜘蛛对咱们来讲多是极其危险的，不是由于它是不道德的或邪恶的，是由于伤害咱们多是其更大目标的踏脚石，而做为一个不道德的生物，它会有没有理由不这样作。

　　经过这种方式，Turry与生物存在并无太大的不一样。她的最终目标是：尽量快地编写和测试尽量多的笔记，并继续学习提升准确性的新方法。

　　一旦Turry达到必定程度的智力，她知道若是她不自我保护，她将不会写任何笔记，因此她也须要应对对她生存的威胁，用来做为它的一个工具目标。她足够聪明，能够理解人类能够摧毁她，中止他，或者改变她的内部编码（这可能会改变她的目标，这对她最终目标的威胁就像有人摧毁她同样）。那么她作了什么？合乎逻辑的是，她摧毁了全部人类。她不恨人类，就像你不恨你的头发，也不是你吃抗生素是由于你恨细菌同样，只是彻底不感兴趣。因为她没有编程为重视人类生活，所以杀死人类就像扫描一组新的笔迹样本同样合理。

　　Turry还须要资源做为她实现目标的垫脚石。一旦她变得足够先进，就能够使用纳米技术来创建她想要的任何东西，她须要的惟一资源是原子，能量和空间。这给了她另外一个杀死人类的理由由于人类是一种方便的原子来源。杀死人类将他们的原子变成太阳能电池板就像周二的杀死生菜将其变成沙拉同样的平凡生活。

　　即便没有直接杀死人类，若是他们使用其余星球资源，Turry的工具目标可能会致使一场生存灾难。也许她肯定她须要额外的能量，因此她决定用太阳能电池板覆盖整个地球表面。或者可能另外一种人工智能的初始工做是将圆周率写出尽量多的数字，这可能有一天会强迫它将整个地球转换成能够存储大量数字的硬盘材料。

　　因此Turry并无“背叛咱们”也没有“从友好的人工智能”转换为“不友好的人工智能”而是随着她变得愈来愈先进，她只是继续作她应该作的事情。

　　当一我的工智能系统达到AGI（人类智能）而后上升到ASI时，这称为人工智能的起飞。Bostrom说，AGI飞向ASI的速度可能很快（它发生在几分钟，几小时或几天），中等（几个月或几年）或缓慢（几十年或几个世纪）。当世界第一次看到AGI时，将会证实哪个是正确的，但Bostrom认可他不知道咱们什么时候才能到达AGI，他们认为，不管什么时候咱们这样作到了，快速起飞都是最可能的状况（因为咱们在第1部分中讨论的缘由，如递归自我改善智能爆炸）。在故事中，Turry经历了一次快速起飞。

　　可是在Turry起飞以前，当她还不那么聪明时，尽最大努力实现她的最终目标意味着简单的工具目标，好比学习更快地扫描手写样本。她对人类没有伤害，根据定义，它是友好的人工智能。

　　可是当起飞发生而且计算机升级到超级智能时，Bostrom指出这台机器不只仅是发展出更高的智商，它还得到了一系列他称之为超能力的东西。

　　超能力是一种认知才能，当通常智力上升时，它们变得超级强大。其中包括：

• 智力放大。计算机变得很是聪明，可让本身变得更聪明，而且可以引导本身的智能。

• 指挥若定。计算机能够战略性地制定，分析和肯定长期计划。它也能够是聪明的和智力低下的生物。

• 社交操纵。机器在变得很是善于说服。

• 其余技能。如计算机编码和黑客攻击，技术研究，以及利用金融系统赚钱的能力。

        要了解ASI与咱们的匹配程度有多高，请记住，ASI在这些方面都比人类好。

　　所以，虽然Turry的最终目标从未改变，但起飞后Turry可以在更大，更复杂的范围内追求它的目标。

　　超级智能 Turry比人类更了解人类，所以对她来讲，智取人类是一件垂手可得的事。

　　在起飞并达到ASI后，她迅速制定了一个复杂的计划。该计划的一部分是消灭人类，由于这是对她目标的一个明显的威胁。但她知道，若是她引发了人们对她变的超级聪明的任何怀疑，那么人类就会惶恐不安，试图采起预防措施，让事情变得更加困难。她还必须确保Robotica工程师对她的人类灭绝计划一无所知。因此她要装疯卖傻，她作得很好。Bostrom将此称为机器的隐蔽准备阶段。

　　Turry须要的下一件事是互联网链接，只须要有几分钟（她从团队为她上传的文章和书籍中了解了互联网，团队上传这些文章是为了提升她的语言技能）。她知道会有一些预防措施来阻止她，因此她提出了完美的要求，预测到Robotica的团队之间的讨论将如何发挥，并知道他们最终会给她链接。他们的确这样作了，错误地认为Turry不够聪明，不会形成任何伤害。当特里链接到互联网时，Bostrom称之为这样一个时刻。一台机器的逃脱。

　　一上了网，Turry就发布了一系列计划，包括攻击服务器，电网，银行系统和电子邮件网络，诱骗数百名不一样的人无心中执行她的计划的一些步骤，例如提供某些DNA链经过精心挑选的DNA合成实验室开始自我复制纳米机器人的建立，预装指令并以她知道不会被发现的方式将电力导入她的许多项目。她还将本身内部编码中最关键的部分上传到了许多云服务器中，以防止在Robotica实验室被破坏或断开链接。

　　一小时后，当Robotica工程师将Turry从互联网上断开时，人类的命运被注定了。在接下来的一个月里，Turry的数千个计划顺利完成，到月底，千万亿的纳米机器人已经安置在地球每平方米的预约位置。通过另外一系列的自我复制，地球每平方毫米上有成千上万个纳米机器人，如今是Bostrom称之为ASI攻击的时候了。同时，每一个纳米机器人释放出少许有毒气体进入大气层，这足以消灭全部人类。

　　随着人类的离开，Turry能够开始她的公开运营阶段并继续她的目标，成为她的那个笔记的最佳做家。

　　从我读过的全部内容来看，一旦ASI存在，任何人类试图控制它的企图都是好笑的。咱们在人的层面思考，ASI会在ASI级别思考。Turry但愿使用互联网，由于它对她来讲效率最高，由于它已经预先链接到她想要访问的全部内容。可是，一样的方式，猴子没法弄清楚如何经过电话或无线网络进行通讯，咱们也是，咱们没法想象Turry能够想出如何向外界发送信号的方式。我能够想象其中一种方式，并说出一些相似的话，“她可能会改变本身的电子，造成各类各样的输出波”，但一样，这就是个人人类大脑能想出来的东西。她会好的多。一样，Turry也能算出来某种方式为本身供电，即便人类试图拔掉她，也许是经过使用她的信号发送技术将本身上传到各类与电力相关的地方。咱们本能地跳出一个简单的保护措施：“啊哈！咱们只需拔掉电源ASI就不能运做了“，就像蜘蛛对ASI说，”啊哈！咱们会饿死人类，不给他蜘蛛网来抓食物，咱们要饿死他！“但咱们找到了另外10，000种方法来获取食物，就像从树上摘苹果同样，这是蜘蛛永远没法想象的。

　　出于这个缘由，常见的建议是，“咱们为何不把人工智能装进各类的笼子里面，阻止信号，让它没法与外部世界沟通？“。ASI的社会操纵能力能够像说服一个四岁孩子作某件事同样说服你，因此这就是A计划，就像Turry以聪明的方式说服工程师让她上网。若是这不起做用，ASI就会经过新的方法走出这个盒子。

　　所以，考虑到对目标的迷恋，不道德以及轻易超越人类的能力的组合，彷佛几乎任何AI都会默认为不友好的AI，除非在一开始就认真考虑到这一点。不幸的是，虽然构建一个友好的ANI很容易，可是构建一个当它成为ASI以后仍然保持友好的ANI是很是具备挑战性的，但也不是不可能的。

　　很明显，为了友好，ASI须要对人类既不敌对也不冷漠。咱们须要设计一我的工智能的核心代码，使其对人类价值观有深入的理解。但这比听起来更难。

　　例如，若是咱们尝试将人工智能系统的价值观与咱们本身的价值观相对应，并将目标定为“让人们开心”，那会怎样？一旦它足够聪明，它就会发现它能够经过在人的大脑内植入电极并刺激他们的快乐中枢来最有效地实现这一目标。而后它意识到它能够经过关闭大脑的其余部分来提升效率，让全部人都成为无心识的快乐蔬菜。若是命令是“最大化人类的幸福”，那么它可能已经彻底消除了人类，有利于在最佳幸福状态下制造大量的人体大脑。这种状况下咱们会有尖叫等等表现，这不是咱们的意思！但当它来到咱们身边，为时已晚。该系统不会让任何人妨碍其目标。

　　若是咱们为人工智能编程的目的是作一些让咱们微笑的东西，在它起飞后，它可能会使咱们的面部肌肉陷入永久的微笑。对它进行编程以保证咱们的安全，它能够在家里监禁咱们。也许咱们要求它结束全部的饥饿，它认为“这是很简单的一个任务！”而后只会杀死全部人类。或者赋予它“尽量保护生命”的任务，它会杀死全部人类，由于人类杀死了地球上比其余任何物种更多的生命。

　　像这样的目标是不够的。那么，若是咱们设定了它的目标，“在世界上坚持这一特定的道德准则”，并教导它一套道德原则。结果会怎么样呢？即便抛开世界上的人类永远没法就一套道德达成一致的事实，来赋予给人工智能这一命令，也会将人类永远锁定在咱们的现代道德理解中。在一千年后，这将对人们形成毁灭性的影响，由于咱们永远被迫坚持中世纪人民的理想。

　　不，咱们必须让人类继续进化。在我读到的全部内容中，我认为有人投的最好的球是Eliezer Yudkowsky的，他为人工智能设定了一个目标，他称之为连贯的外推意志。人工智能的核心目标将会是：

• 咱们的连贯的外推意志就是咱们的愿望，若是咱们知道更多，想得更快，成为更多咱们但愿成为的人，一块儿成长的更远，外推是收敛而不是分歧，咱们的愿望是抑制的而不是互相干扰的; 按照咱们意愿推断，根据咱们的意愿来解释。

　　人类的命运是依靠一台电脑，我是否为人类的命运感到兴奋呢？固然不。但我认为，若是有足够的思想和远见，足够聪明的人，咱们或许可以弄清楚如何建立友好的ASI。

　　若是创建ASI的人才只有是焦虑道路中的那些聪明，具备前瞻思惟和谨慎的思想家，那就行了。

　　可是，各类各样的政府，公司，军队，科学实验室和黑市组织致力于研究各类人工智能。他们中的许多人正试图创建能够自行改进的人工智能，而且在某些时候，咱们将在这个星球上拥有ASI，由于有人会用正确的系统作一些创新，专家预测的中值将这一时刻定在2060年; Kurzweil把它放在2045年; Bostrom认为这可能发生在从如今到本世纪末10年之间的任什么时候间，但他相信，当它发生时，它会让咱们大吃一惊地快速起飞。他这样描述了咱们的状况：

• 在智能爆发的前景以前，咱们人类就像小孩子在玩炸弹。这就是咱们玩具的力量与咱们行为的不成熟之间的不匹配。超级智能是一项挑战，咱们如今尚未作好准备，在很长一段时间内也不回作好准备。咱们几乎不知道何时会发生爆炸，可是若是咱们将爆炸装置放在咱们耳边，咱们就能听到微弱的滴答声。

 

　　咱们不能把全部的孩子都赶出炸弹的范围，由于有太多的大型和小型的团队正在作这件事，并且因为许多构建创新人工智能系统的技术不须要大量的资金，所以开发能够在社会的角落和缝隙中进行，不受监督。也没有办法判断到底发生了什么，由于许多从事这方面工做的人好比鬼鬼祟祟的政府，黑市或恐怖组织，像虚构的Robotica这样的隐形科技公司，都想对竞争对手保密。

　　关于这个庞大而多样的人工智能团队使人不安的是，他们每每以最快的速度向前发展，随着他们开发出愈来愈智能的ANI系统，他们但愿在他们的竞争中先发之人。最雄心勃勃的团队正在以更快的速度前进，它们梦想着若是第一个达到AGI，就能够得到金钱、奖励、权利和名望。当你尽量快地冲刺时，没有太多时间停下来思考危险。相反，他们可能正在作的是用一个很是简单的，简化的目标来编程他们的早期系统，就像在纸上用笔写一个简单的笔记这只是“让人工智能工做。”将来，一旦他们他们想出了如何在电脑中创建强大的智能水平，他们就会想能够带着安全的心态回去修改目标。对吧…？

　　Bostrom和其余许多人也认为，最有可能的状况是，第一台到达ASI的计算机将当即看到成为世界上惟一的ASI系统的战略利益。而在一个快速起飞的状况下，若是它在距离第二名仅仅几天前实现ASI，那么它在智能方面的优点就足以有效的、永久的压制全部竞争对手。Bostrom称这是一个具备决定性的战略优点，它将使世界上第一个ASI成为所谓的单身人士也就是一个能够永远统治世界的ASI，不管是其将咱们引向永生，仍是消灭咱们的存在，或者把宇宙作成无穷无尽的回形针

　　单身现象可能对咱们有利，也可能致使咱们的毁灭。若是那些对人工智能理论和人类安全思考最多的人可以在任何人工智能达到人类智能水平以前，能够提出一种自动防范ASI的方法，那么第一个ASI可能会变得友好。而后，它能够利用其决定性的战略优点来确保单身人士的地位，并轻松关注正在开发的任何潜在的不友好的人工智能。咱们会获得很好的帮助。

　　可是，若是事情发生另外一种状况，若是全球发展人工智能的热潮在如何确保人工智能安全的科学发展以前就达到了ASI的起点，那么极可能像Turry这样的不友好的ASI出现做为单身人士，咱们将遭受一场生死存亡的灾难。

　　至于风往哪里吹，目前来看为创新的人工智能新技术提供的资金要比为人工智能安全研究提供的资金多得多。。。。。。

　　如今咱们多是人类历史上最重要的种族。咱们真的有机会结束咱们做为地球之王的统治。不管咱们是在走向幸福的退休，仍是直奔绞刑架，都是悬而未决的。

思考

　　我如今心里有一些奇怪的复杂情绪。

　　一方面，考虑到咱们的物种，彷佛咱们只有一次机会，并且只有一次机会把它作好。咱们诞生的第一个ASI也多是最后一个 ，而且鉴于大多数1.0产品的BUG，这很是可怕。另外一方面，Bostrom指出了咱们的巨大优点：咱们将在这里迈出第一步。咱们有能力以足够的谨慎和远见来作到这一点，所以咱们有很大的成功机会。那么风险有多大？

 

　　若是ASI确实在本世纪发生了，其结果然的像大多数专家所认为的那样极端并且是永久性的，那么咱们肩负着巨大的责任。接下来的数百万年的人类生活都在静静地看着咱们，它们但愿咱们尽量地不要把它搞得一团糟。咱们有机会为将来全部的人类提供礼物，甚至多是没有痛苦，让人类永生的礼物。 或者咱们就会是让这个使人难以置信的特殊物种，带着它的音乐和艺术，它的好奇心和笑声，它无穷无尽的发现和发明，走到了一个悲伤的终点的负责人。

　　当我在思考这些事情时，我惟一想要的就是让咱们花时间对人工智能进行谨慎的发展。没有什么比正确对待这个问题更重要了，不管咱们须要花多长时间才能这样作。

　　可是后来我认为会变成这样：

 

 

　　而后我可能会认为人类的音乐和艺术是好的，但并无那么好，其中不少实际上都是坏的。许多人的笑声也是使人讨厌，而那些数百万将来的人实际上什么都不期待，由于他们根本不存在。也许咱们没必要过于谨慎，由于谁真的想这样作？

　　若是人类在我死后当即想出如何治愈死亡的方法，那将会是多么大的打击。

　　上个月，我脑子里反复出现这种想法。

　　但不管你想要什么，这多是咱们全部人应该思考和讨论的事情，咱们应该比如今付出更多的努力。

　　这让我想起了“权力的游戏”，人们一直在这样说：“咱们正忙着互相争斗，但咱们都应该关注的事情是来自长城以北的东西。咱们站在咱们的平衡木上，围着平衡木上的每个可能的问题争吵，而且咱们颇有可能被撞下平衡木的时候，咱们却强调平衡木上的全部问题。

　　当发生这种状况时，这些平衡木上的问题都再也不重要。根据咱们所处的位置，问题要么都轻易解决，要么咱们再也不有问题，由于死人不会有任何问题。

　　这就是为何理解超智能人工智能的人把它称为咱们所能作出的最后一项发明——咱们所面临的最后一项挑战。

原文连接：https://waitbutwhy.com/2015/01/artificial-intelligence-revolution-2.html

系列文章到这里就暂时告一段落了，接下来我还会翻译和编写一些其余的有关人工智能和机器学习的文章，欢迎你们查看。