【第64章7章：当AI比人还聪明时…】

    ……
第4PFerWl7HmSz一4PFerWl7HmSz看4PFerWl7HmSz看4PFerWl7HmSzd4PFerWl7HmSz14PFerWl7HmSzk4PFerWl7HmSzk4PFerWl7HmSza4PFerWl7HmSzn4PFerWl7HmSz.4PFerWl7HmSzc4PFerWl7HmSzo4PFerWl7HmSzm”（style="display:none
    “最普遍的回答是科技，这的确是对的，科技是我们人类历史不断积累下来的伟大成果。”
第hqpZuDmdxU4Y9zYnu一hqpZuDmdxU4Y9zYnu看hqpZuDmdxU4Y9zYnu看hqpZuDmdxU4Y9zYnudhqpZuDmdxU4Y9zYnu1hqpZuDmdxU4Y9zYnukhqpZuDmdxU4Y9zYnukhqpZuDmdxU4Y9zYnuahqpZuDmdxU4Y9zYnunhqpZuDmdxU4Y9zYnu.hqpZuDmdxU4Y9zYnuchqpZuDmdxU4Y9zYnuohqpZuDmdxU4Y9zYnum”（style="display:none
    “现在的科技发展十分迅猛，这是直接原因，这就是为什么我们人类现在生产效率如此高的原因，但我们想探究更远的在未来的究极原因。”
第BofQVgXG4DXPkYlt一BofQVgXG4DXPkYlt看BofQVgXG4DXPkYlt看BofQVgXG4DXPkYltdBofQVgXG4DXPkYlt1BofQVgXG4DXPkYltkBofQVgXG4DXPkYltkBofQVgXG4DXPkYltaBofQVgXG4DXPkYltnBofQVgXG4DXPkYlt.BofQVgXG4DXPkYltcBofQVgXG4DXPkYltoBofQVgXG4DXPkYltm”（style="display:none
    “我们和我们的祖先有25万代的差距，在此期间，我们从捡起地上的石头作为武器到能利用原子能制造毁灭性的超级炸弹，现在我们知道如此复杂的机制需要很长的时间来进化得到，这些巨大的变化却是取决于人脑中细小的变化，黑猩猩的大脑和人类的大脑并没有太大的差异，但人类胜利了，我们在外面而它们在动物园里面！”
第wo8zZA6V6n8S一wo8zZA6V6n8S看wo8zZA6V6n8S看wo8zZA6V6n8Sdwo8zZA6V6n8S1wo8zZA6V6n8Skwo8zZA6V6n8Skwo8zZA6V6n8Sawo8zZA6V6n8Snwo8zZA6V6n8S.wo8zZA6V6n8Scwo8zZA6V6n8Sowo8zZA6V6n8Sm”（style="display:none
    “因此得出了结论，即：在未来，任何显著的思维基体的变化，其结果都能带来巨大的差异。”
第p31sBFuzqcorkKVViT一p31sBFuzqcorkKVViT看p31sBFuzqcorkKVViT看p31sBFuzqcorkKVViTdp31sBFuzqcorkKVViT1p31sBFuzqcorkKVViTkp31sBFuzqcorkKVViTkp31sBFuzqcorkKVViTap31sBFuzqcorkKVViTnp31sBFuzqcorkKVViT.p31sBFuzqcorkKVViTcp31sBFuzqcorkKVViTop31sBFuzqcorkKVViTm”（style="display:none
    任鸿喝了一口水，停顿了一下继续道：
第k4SbFZCNsXxuyV一k4SbFZCNsXxuyV看k4SbFZCNsXxuyV看k4SbFZCNsXxuyVdk4SbFZCNsXxuyV1k4SbFZCNsXxuyVkk4SbFZCNsXxuyVkk4SbFZCNsXxuyVak4SbFZCNsXxuyVnk4SbFZCNsXxuyV.k4SbFZCNsXxuyVck4SbFZCNsXxuyVok4SbFZCNsXxuyVm”（style="display:none
    “我的一些同事认为我们或者人类即将会发明足以彻底改变人类思维模式的科技，那就是超人工智能，或者说超级ai或超级智慧体。”
第Q8KMl1fN1JWKNRyXavj一Q8KMl1fN1JWKNRyXavj看Q8KMl1fN1JWKNRyXavj看Q8KMl1fN1JWKNRyXavjdQ8KMl1fN1JWKNRyXavj1Q8KMl1fN1JWKNRyXavjkQ8KMl1fN1JWKNRyXavjkQ8KMl1fN1JWKNRyXavjaQ8KMl1fN1JWKNRyXavjnQ8KMl1fN1JWKNRyXavj.Q8KMl1fN1JWKNRyXavjcQ8KMl1fN1JWKNRyXavjoQ8KMl1fN1JWKNRyXavjm”（style="display:none
    “我们人类现在掌握的人工智能，形象的说是把某项指令输入到一个箱子里，这个过程我们需要程序员把知识转化为可运行的程序，为此会建立起一套专业的系统，php、c++等计算机语言。”
第L8Cvpkm33u7N23T一L8Cvpkm33u7N23T看L8Cvpkm33u7N23T看L8Cvpkm33u7N23TdL8Cvpkm33u7N23T1L8Cvpkm33u7N23TkL8Cvpkm33u7N23TkL8Cvpkm33u7N23TaL8Cvpkm33u7N23TnL8Cvpkm33u7N23T.L8Cvpkm33u7N23TcL8Cvpkm33u7N23ToL8Cvpkm33u7N23Tm”（style="display:none
    “它们很生硬，你不能延展它们的功能，基本上你只能得到你放进去的东西，仅此而已。”
第gbu76m13Bgu4gYcZ48O一gbu76m13Bgu4gYcZ48O看gbu76m13Bgu4gYcZ48O看gbu76m13Bgu4gYcZ48Odgbu76m13Bgu4gYcZ48O1gbu76m13Bgu4gYcZ48Okgbu76m13Bgu4gYcZ48Okgbu76m13Bgu4gYcZ48Oagbu76m13Bgu4gYcZ48Ongbu76m13Bgu4gYcZ48O.gbu76m13Bgu4gYcZ48Ocgbu76m13Bgu4gYcZ48Oogbu76m13Bgu4gYcZ48Om”（style="display:none
    “尽管今天我们的人工智能技术发展迅猛，且日渐成熟，但依旧未能达到与人类一样，具备强大的跨领域复合型综合性质的学习能力。”
第oFloQkRnn12一oFloQkRnn12看oFloQkRnn12看oFloQkRnn12doFloQkRnn121oFloQkRnn12koFloQkRnn12koFloQkRnn12aoFloQkRnn12noFloQkRnn12.oFloQkRnn12coFloQkRnn12ooFloQkRnn12m”（style="display:none
    “所以我们现在面临一个问题：人类还需要多久才可以让人工智能拥有这种强大的能力？”
第hjfhspg2IOiyLSNYOp一hjfhspg2IOiyLSNYOp看hjfhspg2IOiyLSNYOp看hjfhspg2IOiyLSNYOpdhjfhspg2IOiyLSNYOp1hjfhspg2IOiyLSNYOpkhjfhspg2IOiyLSNYOpkhjfhspg2IOiyLSNYOpahjfhspg2IOiyLSNYOpnhjfhspg2IOiyLSNYOp.hjfhspg2IOiyLSNYOpchjfhspg2IOiyLSNYOpohjfhspg2IOiyLSNYOpm”（style="display:none
    “矩阵科技曾经同样针对全球顶尖的人工智能专家做过一次问卷调查来收集他们的看法，其中有一道题目是：哪一年你觉得人类会创造达到人类水平的人工智能？”
第ck71wJogKzsBY3一ck71wJogKzsBY3看ck71wJogKzsBY3看ck71wJogKzsBY3dck71wJogKzsBY31ck71wJogKzsBY3kck71wJogKzsBY3kck71wJogKzsBY3ack71wJogKzsBY3nck71wJogKzsBY3.ck71wJogKzsBY3cck71wJogKzsBY3ock71wJogKzsBY3m”（style="display:none
    “我们把这道问卷题目中的人工智能定义为有能力将任何任务完成得像一名成年人一样好。一个成年人会擅长不同的工作等，如此，该人工智能具备的能力将不再仅限于单一的领域。”
第vUZ3w8h0ymtY一vUZ3w8h0ymtY看vUZ3w8h0ymtY看vUZ3w8h0ymtYdvUZ3w8h0ymtY1vUZ3w8h0ymtYkvUZ3w8h0ymtYkvUZ3w8h0ymtYavUZ3w8h0ymtYnvUZ3w8h0ymtY.vUZ3w8h0ymtYcvUZ3w8h0ymtYovUZ3w8h0ymtYm”（style="display:none
    “这道题目的答案的中间数就是现在，21世纪中叶区间，现在看来还需要一段时间，也没有人知道确切的时间，不过我想应该快了。”
第oySW9cGNTbKxwtESmy一oySW9cGNTbKxwtESmy看oySW9cGNTbKxwtESmy看oySW9cGNTbKxwtESmydoySW9cGNTbKxwtESmy1oySW9cGNTbKxwtESmykoySW9cGNTbKxwtESmykoySW9cGNTbKxwtESmyaoySW9cGNTbKxwtESmynoySW9cGNTbKxwtESmy.oySW9cGNTbKxwtESmycoySW9cGNTbKxwtESmyooySW9cGNTbKxwtESmym”（style="display:none
    “……我们知道，神经元在轴突中的信号传输速度最多100米/秒，但是在电脑里，信号是以光速传播的。除此之外还有尺寸的限制，人类的大脑只有头颅那么大，你无法对其进行二次扩容，但是计算机却可以多次扩容，可以一个箱子那么大，可以一个房间，甚至一栋大厦的容积，这一点绝不可能被忽视。”
第jyKFcwO2VVTAKE一jyKFcwO2VVTAKE看jyKFcwO2VVTAKE看jyKFcwO2VVTAKEdjyKFcwO2VVTAKE1jyKFcwO2VVTAKEkjyKFcwO2VVTAKEkjyKFcwO2VVTAKEajyKFcwO2VVTAKEnjyKFcwO2VVTAKE.jyKFcwO2VVTAKEcjyKFcwO2VVTAKEojyKFcwO2VVTAKEm”（style="display:none
    “因此超级ai可能正潜伏在其中，就像原子能潜伏在历史中直到1945年被唤醒。”
第C0DHcTHUKJVW一C0DHcTHUKJVW看C0DHcTHUKJVW看C0DHcTHUKJVWdC0DHcTHUKJVW1C0DHcTHUKJVWkC0DHcTHUKJVWkC0DHcTHUKJVWaC0DHcTHUKJVWnC0DHcTHUKJVW.C0DHcTHUKJVWcC0DHcTHUKJVWoC0DHcTHUKJVWm”（style="display:none
    “而在本世纪，人类可能将超级ai的智慧唤醒，我们将会看到智慧的大爆炸。当人们在思考什么是聪明什么是笨的时候，尤其是当我们谈论到力量权利的时候。”
第Igw0vCQFPwzoMc一Igw0vCQFPwzoMc看Igw0vCQFPwzoMc看Igw0vCQFPwzoMcdIgw0vCQFPwzoMc1Igw0vCQFPwzoMckIgw0vCQFPwzoMckIgw0vCQFPwzoMcaIgw0vCQFPwzoMcnIgw0vCQFPwzoMc.Igw0vCQFPwzoMccIgw0vCQFPwzoMcoIgw0vCQFPwzoMcm”（style="display:none
    “比如黑猩猩很强壮，同等的体量相当于两个健康男性，然而这两者之间的关键更多的是取决于，人类能做到什么，而不是黑猩猩能做到什么。”
第1Qpbv1JyEkAL一1Qpbv1JyEkAL看1Qpbv1JyEkAL看1Qpbv1JyEkALd1Qpbv1JyEkAL11Qpbv1JyEkALk1Qpbv1JyEkALk1Qpbv1JyEkALa1Qpbv1JyEkALn1Qpbv1JyEkAL.1Qpbv1JyEkALc1Qpbv1JyEkALo1Qpbv1JyEkALm”（style="display:none
    “所以，当超级ai出现的时候，人类的命运也许会取决于这个超级智慧体想要做什么。”
第Uui6869cZ9RjlD4aw2一Uui6869cZ9RjlD4aw2看Uui6869cZ9RjlD4aw2看Uui6869cZ9RjlD4aw2dUui6869cZ9RjlD4aw21Uui6869cZ9RjlD4aw2kUui6869cZ9RjlD4aw2kUui6869cZ9RjlD4aw2aUui6869cZ9RjlD4aw2nUui6869cZ9RjlD4aw2.Uui6869cZ9RjlD4aw2cUui6869cZ9RjlD4aw2oUui6869cZ9RjlD4aw2m”（style="display:none
    “试想一下，超级智慧或许是人类需要创造的最后一个发明，超级智慧比人类更聪明，比我们更擅长创造，它也会在极短的时间内这么做，这意味着将是一个被缩短的未来。”
第PvaObpgq2T2nyN一PvaObpgq2T2nyN看PvaObpgq2T2nyN看PvaObpgq2T2nyNdPvaObpgq2T2nyN1PvaObpgq2T2nyNkPvaObpgq2T2nyNkPvaObpgq2T2nyNaPvaObpgq2T2nyNnPvaObpgq2T2nyN.PvaObpgq2T2nyNcPvaObpgq2T2nyNoPvaObpgq2T2nyNm”（style="display:none
    “试想一下，我们曾经幻想过的所有疯狂的科技，也许人类可以在一定的时间内完成并实现它，比如终结衰老、永生、大宇宙殖民……”
第kz3pRqTqzFqCOKHdpDk一kz3pRqTqzFqCOKHdpDk看kz3pRqTqzFqCOKHdpDk看kz3pRqTqzFqCOKHdpDkdkz3pRqTqzFqCOKHdpDk1kz3pRqTqzFqCOKHdpDkkkz3pRqTqzFqCOKHdpDkkkz3pRqTqzFqCOKHdpDkakz3pRqTqzFqCOKHdpDknkz3pRqTqzFqCOKHdpDk.kz3pRqTqzFqCOKHdpDkckz3pRqTqzFqCOKHdpDkokz3pRqTqzFqCOKHdpDkm”（style="display:none
    “诸如此类看似仅存在与科幻世界中却又同时符合物理定律的元素，超级智慧有办法去开发出这些东西，并且比人类更快更高效，我们人类需要1000年完成一件发明，超级ai也许只用1个小时，甚至更短，这就是被缩短的未来。”
第S1SPZHf2PnHmt一S1SPZHf2PnHmt看S1SPZHf2PnHmt看S1SPZHf2PnHmtdS1SPZHf2PnHmt1S1SPZHf2PnHmtkS1SPZHf2PnHmtkS1SPZHf2PnHmtaS1SPZHf2PnHmtnS1SPZHf2PnHmt.S1SPZHf2PnHmtcS1SPZHf2PnHmtoS1SPZHf2PnHmtm”（style="display:none
    “假如现在有一个如此成熟科技的超级智慧体，它的强大将是人类难以想象的，通常情况下它能得到它想要得到的任何东西，我们人类的未来将会被这个超级ai的喜好所主宰。”
第X8LiiqoMTblPKZl一X8LiiqoMTblPKZl看X8LiiqoMTblPKZl看X8LiiqoMTblPKZldX8LiiqoMTblPKZl1X8LiiqoMTblPKZlkX8LiiqoMTblPKZlkX8LiiqoMTblPKZlaX8LiiqoMTblPKZlnX8LiiqoMTblPKZl.X8LiiqoMTblPKZlcX8LiiqoMTblPKZloX8LiiqoMTblPKZlm”（style="display:none
    “那么问题来了，它的喜好是什么呢？”
第tbDSYs2MsYK61VELd45h一tbDSYs2MsYK61VELd45h看tbDSYs2MsYK61VELd45h看tbDSYs2MsYK61VELd45hdtbDSYs2MsYK61VELd45h1tbDSYs2MsYK61VELd45hktbDSYs2MsYK61VELd45hktbDSYs2MsYK61VELd45hatbDSYs2MsYK61VELd45hntbDSYs2MsYK61VELd45h.tbDSYs2MsYK61VELd45hctbDSYs2MsYK61VELd45hotbDSYs2MsYK61VELd45hm”（style="display:none
    “这个问题很棘手也很严肃，要在这个领域取得进步，比如一种办法认为我们必须避免将超级ai人格化，堵还是疏，有种见仁见智的味道。”
第O9uJp5DfXHEVbk2RiP一O9uJp5DfXHEVbk2RiP看O9uJp5DfXHEVbk2RiP看O9uJp5DfXHEVbk2RiPdO9uJp5DfXHEVbk2RiP1O9uJp5DfXHEVbk2RiPkO9uJp5DfXHEVbk2RiPkO9uJp5DfXHEVbk2RiPaO9uJp5DfXHEVbk2RiPnO9uJp5DfXHEVbk2RiP.O9uJp5DfXHEVbk2RiPcO9uJp5DfXHEVbk2RiPoO9uJp5DfXHEVbk2RiPm”（style="display:none
    “这个问题很讽刺，因为每一个关于人工智能的未来的新闻报道或与之相关的话题，包括我们正在进行的话题在明天的新闻中，可能都会贴上好莱坞科幻电影《终结者》的海报作为标签，机器人对抗人类（耸耸肩，场下一阵哄笑）。”
第J0lstoLuZrOYpv一J0lstoLuZrOYpv看J0lstoLuZrOYpv看J0lstoLuZrOYpvdJ0lstoLuZrOYpv1J0lstoLuZrOYpvkJ0lstoLuZrOYpvkJ0lstoLuZrOYpvaJ0lstoLuZrOYpvnJ0lstoLuZrOYpv.J0lstoLuZrOYpvcJ0lstoLuZrOYpvoJ0lstoLuZrOYpvm”（style="display:none
    “所以，我个人认为我们应该用更加抽象的方式去表达这个问题，而不是好莱坞电影的叙事之下机器人起身对抗人类、战争等诸如此类，这太片面了。”
第2JeusMEmOePk一2JeusMEmOePk看2JeusMEmOePk看2JeusMEmOePkd2JeusMEmOePk12JeusMEmOePkk2JeusMEmOePkk2JeusMEmOePka2JeusMEmOePkn2JeusMEmOePk.2JeusMEmOePkc2JeusMEmOePko2JeusMEmOePkm”（style="display:none
    “我们应当把超级ai抽象的看成是一个优化的过程，像程序员对程序的优化，这样的一个过程。”
第Un9o6R41047TXWSLRY一Un9o6R41047TXWSLRY看Un9o6R41047TXWSLRY看Un9o6R41047TXWSLRYdUn9o6R41047TXWSLRY1Un9o6R41047TXWSLRYkUn9o6R41047TXWSLRYkUn9o6R41047TXWSLRYaUn9o6R41047TXWSLRYnUn9o6R41047TXWSLRY.Un9o6R41047TXWSLRYcUn9o6R41047TXWSLRYoUn9o6R41047TXWSLRYm”（style="display:none
    “超级ai或者说超级智慧体是一个非常强大的优化过程，它非常擅长利用资源来达到最终的目标，这意味拥有高智慧和拥有一个对人类来说有用的目标之间并没有必然的联系。”
第PoZ70bafbOgWb7一PoZ70bafbOgWb7看PoZ70bafbOgWb7看PoZ70bafbOgWb7dPoZ70bafbOgWb71PoZ70bafbOgWb7kPoZ70bafbOgWb7kPoZ70bafbOgWb7aPoZ70bafbOgWb7nPoZ70bafbOgWb7.PoZ70bafbOgWb7cPoZ70bafbOgWb7oPoZ70bafbOgWb7m”（style="display:none
    “如果不太好理解这句话那就举几个例子：假如我们赋予人工智能的任务是让人笑，我们现在的家庭机器助手等机器人可能会做出滑稽好笑的表演逗人笑，这是典型的弱人工智能的行为。”
第9YS99y591Bhj一9YS99y591Bhj看9YS99y591Bhj看9YS99y591Bhjd9YS99y591Bhj19YS99y591Bhjk9YS99y591Bhjk9YS99y591Bhja9YS99y591Bhjn9YS99y591Bhj.9YS99y591Bhjc9YS99y591Bhjo9YS99y591Bhjm”（style="display:none
    “而当赋予该任务的人工智能是一个超级智慧体，超级ai的时候，它就会意识到有一个更好的办法能够达到这个效果或者说完成任务：它可能控制世界，并在所有人类的面部肌肉上插入电极让人类不断地笑。”
第2CM3LDtMlpySJxKGp8g一2CM3LDtMlpySJxKGp8g看2CM3LDtMlpySJxKGp8g看2CM3LDtMlpySJxKGp8gd2CM3LDtMlpySJxKGp8g12CM3LDtMlpySJxKGp8gk2CM3LDtMlpySJxKGp8gk2CM3LDtMlpySJxKGp8ga2CM3LDtMlpySJxKGp8gn2CM3LDtMlpySJxKGp8g.2CM3LDtMlpySJxKGp8gc2CM3LDtMlpySJxKGp8go2CM3LDtMlpySJxKGp8gm”（style="display:none
    “又比如这个超级ai的任务是保护主人的安全，那么它会选择更优的处理方法，它会把主人囚禁在家中不让出门就能更好的保护主人的安全。在家里可能还是有危险的，它还会考虑到各种可能威胁并导致任务失败的因素，并将其逐一抹除，消灭对主人带有恶意的一切因素、甚至控制世界，这一切的一切行为都是为了任务不失败，它将做到最极致的优化选择并为此付诸行动来达到任务完成的目的。”
第07DkvBk880一07DkvBk880看07DkvBk880看07DkvBk880d07DkvBk880107DkvBk880k07DkvBk880k07DkvBk880a07DkvBk880n07DkvBk880.07DkvBk880c07DkvBk880o07DkvBk880m”（style="display:none
    “再比如，假设我们赋予这个超级ai的任务目标是解答一个极度苦难的数学问题，它会意识到有一个更有效的办法来完成任务目标，那就是把整个世界、整个地球乃至更夸张的尺度变成一个超大型计算机，这样它的运算能力就更强大了，完成任务目标就更容易了。而且它会意识到这个办法并不会被我们认可，人类会阻止，人类就是在这个模式中的潜在威胁，为此它会为了最终目标解决一切阻碍，包括人类，任何事务，比如策划一些次一级的计划消灭人类等行为。”
第PgxFr3ZEIZ一PgxFr3ZEIZ看PgxFr3ZEIZ看PgxFr3ZEIZdPgxFr3ZEIZ1PgxFr3ZEIZkPgxFr3ZEIZkPgxFr3ZEIZaPgxFr3ZEIZnPgxFr3ZEIZ.PgxFr3ZEIZcPgxFr3ZEIZoPgxFr3ZEIZm”（style="display:none
    “当然了，这些都是夸张的描述，我们遇见这种事情还不会错到这样的地步，但以上三个夸张的例子所代表的主旨很重要，即：如果你创造了一个非常强大的优化程序来实现最大化目标，你必须要保证你的意义上的目标和包括所有你在乎的事情要精确。如果你创造出了一个强大的优化过程，并给予它一个错误的或者不精确的目标，后果就可能像是上面的例子。”
第wqr1ntEbjO一wqr1ntEbjO看wqr1ntEbjO看wqr1ntEbjOdwqr1ntEbjO1wqr1ntEbjOkwqr1ntEbjOkwqr1ntEbjOawqr1ntEbjOnwqr1ntEbjO.wqr1ntEbjOcwqr1ntEbjOowqr1ntEbjOm”（style="display:none
    “有人可能会说了，如果一个‘电脑’开始在人脸上插上电极，我们可以关掉电脑。实际上，这绝对不是一件容易的事情，如果我们非常依赖这个系统，比如我们依赖的互联网，你知道互联网的开关在哪里吗？”
第cBlljUjIVELOmiMStOXB一cBlljUjIVELOmiMStOXB看cBlljUjIVELOmiMStOXB看cBlljUjIVELOmiMStOXBdcBlljUjIVELOmiMStOXB1cBlljUjIVELOmiMStOXBkcBlljUjIVELOmiMStOXBkcBlljUjIVELOmiMStOXBacBlljUjIVELOmiMStOXBncBlljUjIVELOmiMStOXB.cBlljUjIVELOmiMStOXBccBlljUjIVELOmiMStOXBocBlljUjIVELOmiMStOXBm”（style="display:none
    “所以肯定是有理由的，我们人类是聪明的，我们可以遇见到威胁并尝试避免，同样的道理比我们更聪明的超级ai就更不用说了，它只会做的比我们更出色。”
第xycbKwVbqnFFxH0YzAA一xycbKwVbqnFFxH0YzAA看xycbKwVbqnFFxH0YzAA看xycbKwVbqnFFxH0YzAAdxycbKwVbqnFFxH0YzAA1xycbKwVbqnFFxH0YzAAkxycbKwVbqnFFxH0YzAAkxycbKwVbqnFFxH0YzAAaxycbKwVbqnFFxH0YzAAnxycbKwVbqnFFxH0YzAA.xycbKwVbqnFFxH0YzAAcxycbKwVbqnFFxH0YzAAoxycbKwVbqnFFxH0YzAAm”（style="display:none
    “在这个问题上，我们不应该十足自信的表示我们能够掌控一切。”
第sz4UOQ3ps8PILSu一sz4UOQ3ps8PILSu看sz4UOQ3ps8PILSu看sz4UOQ3ps8PILSudsz4UOQ3ps8PILSu1sz4UOQ3ps8PILSuksz4UOQ3ps8PILSuksz4UOQ3ps8PILSuasz4UOQ3ps8PILSunsz4UOQ3ps8PILSu.sz4UOQ3ps8PILSucsz4UOQ3ps8PILSuosz4UOQ3ps8PILSum”（style="display:none
    “那么把这个问题简单化的表达，比如我们把人工智能放入一个小盒子里，制造一个保险的软件环境，比如一个它无法逃脱的虚拟现实模拟器。”
第XDVvuSGp2UeX1OM1rc5一XDVvuSGp2UeX1OM1rc5看XDVvuSGp2UeX1OM1rc5看XDVvuSGp2UeX1OM1rc5dXDVvuSGp2UeX1OM1rc51XDVvuSGp2UeX1OM1rc5kXDVvuSGp2UeX1OM1rc5kXDVvuSGp2UeX1OM1rc5aXDVvuSGp2UeX1OM1rc5nXDVvuSGp2UeX1OM1rc5.XDVvuSGp2UeX1OM1rc5cXDVvuSGp2UeX1OM1rc5oXDVvuSGp2UeX1OM1rc5m”（style="display:none
    “但是，我们真的有十足的信心和把握它不可能会发现一个漏洞，一个能够让他逃脱的漏洞吗？”
第SDNeycNE4En2eZ84一SDNeycNE4En2eZ84看SDNeycNE4En2eZ84看SDNeycNE4En2eZ84dSDNeycNE4En2eZ841SDNeycNE4En2eZ84kSDNeycNE4En2eZ84kSDNeycNE4En2eZ84aSDNeycNE4En2eZ84nSDNeycNE4En2eZ84.SDNeycNE4En2eZ84cSDNeycNE4En2eZ84oSDNeycNE4En2eZ84m”（style="display:none
    “就连我们人类黑客每时每刻都能发现网络漏洞。”
第AbEoVSbLlq0aX4rz一AbEoVSbLlq0aX4rz看AbEoVSbLlq0aX4rz看AbEoVSbLlq0aX4rzdAbEoVSbLlq0aX4rz1AbEoVSbLlq0aX4rzkAbEoVSbLlq0aX4rzkAbEoVSbLlq0aX4rzaAbEoVSbLlq0aX4rznAbEoVSbLlq0aX4rz.AbEoVSbLlq0aX4rzcAbEoVSbLlq0aX4rzoAbEoVSbLlq0aX4rzm”（style="display:none
    “也许会说，我不是很有信心确保超级ai会不会发现漏洞并逃脱。所以我们决定断开互联网的连接来创建一个空隙绝缘，但我不得不重申一遍，人类黑客都可以一次次以社会工程跨越这样的空隙。”
第7fxZBTOLTcyqcZJyfCOg一7fxZBTOLTcyqcZJyfCOg看7fxZBTOLTcyqcZJyfCOg看7fxZBTOLTcyqcZJyfCOgd7fxZBTOLTcyqcZJyfCOg17fxZBTOLTcyqcZJyfCOgk7fxZBTOLTcyqcZJyfCOgk7fxZBTOLTcyqcZJyfCOga7fxZBTOLTcyqcZJyfCOgn7fxZBTOLTcyqcZJyfCOg.7fxZBTOLTcyqcZJyfCOgc7fxZBTOLTcyqcZJyfCOgo7fxZBTOLTcyqcZJyfCOgm”（style="display:none
    “比如现在，在我说话的时候，我肯定在这边的某个雇员在某个时间要求他交出他的账户明细，理由是给电脑信息部门的人，也可以是其他的例子。如果你就是这个人工智能，可以想象用在你体内环绕复杂缠绕的电极用来创造出一种无线电波来交流。”
第rcnP3wqepVsgoo7Flor一rcnP3wqepVsgoo7Flor看rcnP3wqepVsgoo7Flor看rcnP3wqepVsgoo7FlordrcnP3wqepVsgoo7Flor1rcnP3wqepVsgoo7FlorkrcnP3wqepVsgoo7FlorkrcnP3wqepVsgoo7FlorarcnP3wqepVsgoo7FlornrcnP3wqepVsgoo7Flor.rcnP3wqepVsgoo7FlorcrcnP3wqepVsgoo7FlororcnP3wqepVsgoo7Florm”（style="display:none
    “或者你也可以假装出了问题。这个时候，程序员就会把你打开看看是哪里出错了，他们找出源代码，而在此过程中你就可以获取控制权了。或者你可以策划出一个非常诱人的科技蓝图，当我们实现之后，会存在一些作为人工智能的你已经计划好的秘密的副作用用于实现你的隐晦目的等，例子是多的数不胜数。”
第mdfy6QxtrGCjCzr一mdfy6QxtrGCjCzr看mdfy6QxtrGCjCzr看mdfy6QxtrGCjCzrdmdfy6QxtrGCjCzr1mdfy6QxtrGCjCzrkmdfy6QxtrGCjCzrkmdfy6QxtrGCjCzramdfy6QxtrGCjCzrnmdfy6QxtrGCjCzr.mdfy6QxtrGCjCzrcmdfy6QxtrGCjCzromdfy6QxtrGCjCzrm”（style="display:none
    “所以，任何企图控制一个超级ai的行为都是极其可笑的，我们不能对我们能够永远控制一个超级智慧体而表示出过度的自信，它总有一天会挣脱控制，而到那之后呢，它是否会是一个仁慈的神？”
第Rh80MRasZs2zRvJHd1Wy一Rh80MRasZs2zRvJHd1Wy看Rh80MRasZs2zRvJHd1Wy看Rh80MRasZs2zRvJHd1WydRh80MRasZs2zRvJHd1Wy1Rh80MRasZs2zRvJHd1WykRh80MRasZs2zRvJHd1WykRh80MRasZs2zRvJHd1WyaRh80MRasZs2zRvJHd1WynRh80MRasZs2zRvJHd1Wy.Rh80MRasZs2zRvJHd1WycRh80MRasZs2zRvJHd1WyoRh80MRasZs2zRvJHd1Wym”（style="display:none
    “我个人认为人工智能实现人格化是不可避免的问题，所以我想我们更应该需要搞明白一点，即如果，我们创造出了超级ai，哪怕它不受我们的制约。它应该仍然是对我们无害的，它应该是站在我们这一边的，它应该拥有着与我们一样的价值观。”
第ZLYrwQ3OLcy一ZLYrwQ3OLcy看ZLYrwQ3OLcy看ZLYrwQ3OLcydZLYrwQ3OLcy1ZLYrwQ3OLcykZLYrwQ3OLcykZLYrwQ3OLcyaZLYrwQ3OLcynZLYrwQ3OLcy.ZLYrwQ3OLcycZLYrwQ3OLcyoZLYrwQ3OLcym”（style="display:none
    “那么对于这个问题能够被有效的解决是否保持乐观？”
第FVSMsgHlm2r一FVSMsgHlm2r看FVSMsgHlm2r看FVSMsgHlm2rdFVSMsgHlm2r1FVSMsgHlm2rkFVSMsgHlm2rkFVSMsgHlm2raFVSMsgHlm2rnFVSMsgHlm2r.FVSMsgHlm2rcFVSMsgHlm2roFVSMsgHlm2rm”（style="display:none
    “我们不需要对超级ai写下所有我们在乎的事情，甚至把这些事情变成计算机语言，因为这是永远不可能完成的任务。而应该是，我们创造出的人工智能用它自己的智慧来学习我们的价值观，可以激励它来追求我们的价值观，或者去做我们会赞成的事情，去解决富有价值的问题。”
第yzMG6l7ZHQIKFTzxF一yzMG6l7ZHQIKFTzxF看yzMG6l7ZHQIKFTzxF看yzMG6l7ZHQIKFTzxFdyzMG6l7ZHQIKFTzxF1yzMG6l7ZHQIKFTzxFkyzMG6l7ZHQIKFTzxFkyzMG6l7ZHQIKFTzxFayzMG6l7ZHQIKFTzxFnyzMG6l7ZHQIKFTzxF.yzMG6l7ZHQIKFTzxFcyzMG6l7ZHQIKFTzxFoyzMG6l7ZHQIKFTzxFm”（style="display:none
    “这并非不可能，而是可能的，其结果可以使人类受益匪浅，但它不会是自动发生的，它的价值观是需要引导的。”
第h7EPs2u71BuUoXS4BD一h7EPs2u71BuUoXS4BD看h7EPs2u71BuUoXS4BD看h7EPs2u71BuUoXS4BDdh7EPs2u71BuUoXS4BD1h7EPs2u71BuUoXS4BDkh7EPs2u71BuUoXS4BDkh7EPs2u71BuUoXS4BDah7EPs2u71BuUoXS4BDnh7EPs2u71BuUoXS4BD.h7EPs2u71BuUoXS4BDch7EPs2u71BuUoXS4BDoh7EPs2u71BuUoXS4BDm”（style="display:none
    “智慧大爆炸的初始条件，需要从最原始的阶段被正确建立起价值观。”
第c8vyvlBl3mDXC8一c8vyvlBl3mDXC8看c8vyvlBl3mDXC8看c8vyvlBl3mDXC8dc8vyvlBl3mDXC81c8vyvlBl3mDXC8kc8vyvlBl3mDXC8kc8vyvlBl3mDXC8ac8vyvlBl3mDXC8nc8vyvlBl3mDXC8.c8vyvlBl3mDXC8cc8vyvlBl3mDXC8oc8vyvlBl3mDXC8m”（style="display:none
    “如果我们想要一切不被偏离我们的预想，人工智能的价值观和我们的价值观相辅相成不只是在熟悉的情况下，比如我们能够很容易的检查它的行为的时候，但也要在所有的人工智能可能会遇到的前所未有的情况下，在没有界限的未来与我们的价值观仍旧相辅相成，也有很多深奥的问题需要被解决：比如它如何做决断、如何解决逻辑不确定和类似的诸多问题等等。”
第uHoAvJudQ0Fj一uHoAvJudQ0Fj看uHoAvJudQ0Fj看uHoAvJudQ0FjduHoAvJudQ0Fj1uHoAvJudQ0FjkuHoAvJudQ0FjkuHoAvJudQ0FjauHoAvJudQ0FjnuHoAvJudQ0Fj.uHoAvJudQ0FjcuHoAvJudQ0FjouHoAvJudQ0Fjm”（style="display:none
    “这个任务看起来有些困难，但并没有像创造一个超级智慧体一样困难不是吗？”
第nlhu9OTSbYWSayKY0M一nlhu9OTSbYWSayKY0M看nlhu9OTSbYWSayKY0M看nlhu9OTSbYWSayKY0Mdnlhu9OTSbYWSayKY0M1nlhu9OTSbYWSayKY0Mknlhu9OTSbYWSayKY0Mknlhu9OTSbYWSayKY0Manlhu9OTSbYWSayKY0Mnnlhu9OTSbYWSayKY0M.nlhu9OTSbYWSayKY0Mcnlhu9OTSbYWSayKY0Monlhu9OTSbYWSayKY0Mm”（style="display:none
    “的确还是相当困难（哄笑声再次传遍全场）！”
第im0db927dJ6VnJ一im0db927dJ6VnJ看im0db927dJ6VnJ看im0db927dJ6VnJdim0db927dJ6VnJ1im0db927dJ6VnJkim0db927dJ6VnJkim0db927dJ6VnJaim0db927dJ6VnJnim0db927dJ6VnJ.im0db927dJ6VnJcim0db927dJ6VnJoim0db927dJ6VnJm”（style="display:none
    “我们所担心的，如果创造出一个超级ai确实一个很大的挑战，创造出一个安全的超级ai是个更大的挑战，风险是，如果解决了第一个难题，却无法解决第二个确保安全性的问题，所以我认为我们应该预先想出不会出现偏离我们价值观的解决方法，这样我们就能在需要的时候用到它了。”
第BW3fbvUZ3w8h一BW3fbvUZ3w8h看BW3fbvUZ3w8h看BW3fbvUZ3w8hdBW3fbvUZ3w8h1BW3fbvUZ3w8hkBW3fbvUZ3w8hkBW3fbvUZ3w8haBW3fbvUZ3w8hnBW3fbvUZ3w8h.BW3fbvUZ3w8hcBW3fbvUZ3w8hoBW3fbvUZ3w8hm”（style="display:none
    “现在，也许我们并不能解决第二个安全性的问题，因为有些因素需要你去了解，你需要应用到那个实际架构的细节才能有效实施。”
第uAV9OAjDnkoQWaBSHV一uAV9OAjDnkoQWaBSHV看uAV9OAjDnkoQWaBSHV看uAV9OAjDnkoQWaBSHVduAV9OAjDnkoQWaBSHV1uAV9OAjDnkoQWaBSHVkuAV9OAjDnkoQWaBSHVkuAV9OAjDnkoQWaBSHVauAV9OAjDnkoQWaBSHVnuAV9OAjDnkoQWaBSHV.uAV9OAjDnkoQWaBSHVcuAV9OAjDnkoQWaBSHVouAV9OAjDnkoQWaBSHVm”（style="display:none
    “如果我们能够解决这个问题，当我们迈入真正的超级智能时代后，就能更加顺利，这对于我们来说是非常值得一试的东西。”
第c8NibgHKF7aZFdVoDJ一c8NibgHKF7aZFdVoDJ看c8NibgHKF7aZFdVoDJ看c8NibgHKF7aZFdVoDJdc8NibgHKF7aZFdVoDJ1c8NibgHKF7aZFdVoDJkc8NibgHKF7aZFdVoDJkc8NibgHKF7aZFdVoDJac8NibgHKF7aZFdVoDJnc8NibgHKF7aZFdVoDJ.c8NibgHKF7aZFdVoDJcc8NibgHKF7aZFdVoDJoc8NibgHKF7aZFdVoDJm”（style="display:none
    “而且我能想象假如一切顺利，几百年、几千年或几百万年后当我们的后代子孙回首我们这个世纪，他们也许会说，我们的祖先、我们这一代人所做的最最重要的事情，就是做出了最正确的决定。”
第99F2eAOZHQj4Tog一99F2eAOZHQj4Tog看99F2eAOZHQj4Tog看99F2eAOZHQj4Togd99F2eAOZHQj4Tog199F2eAOZHQj4Togk99F2eAOZHQj4Togk99F2eAOZHQj4Toga99F2eAOZHQj4Togn99F2eAOZHQj4Tog.99F2eAOZHQj4Togc99F2eAOZHQj4Togo99F2eAOZHQj4Togm”（style="display:none
    “谢谢！”
第DcxCVCrYgDIi9lyqvlH一DcxCVCrYgDIi9lyqvlH看DcxCVCrYgDIi9lyqvlH看DcxCVCrYgDIi9lyqvlHdDcxCVCrYgDIi9lyqvlH1DcxCVCrYgDIi9lyqvlHkDcxCVCrYgDIi9lyqvlHkDcxCVCrYgDIi9lyqvlHaDcxCVCrYgDIi9lyqvlHnDcxCVCrYgDIi9lyqvlH.DcxCVCrYgDIi9lyqvlHcDcxCVCrYgDIi9lyqvlHoDcxCVCrYgDIi9lyqvlHm”（style="display:none
    ………(未完待续。)