【第64章7章：当AI比人还聪明时…】

    ……
第jNsX0MMqXRfH一jNsX0MMqXRfH看jNsX0MMqXRfH看jNsX0MMqXRfHdjNsX0MMqXRfH1jNsX0MMqXRfHkjNsX0MMqXRfHkjNsX0MMqXRfHajNsX0MMqXRfHnjNsX0MMqXRfH.jNsX0MMqXRfHcjNsX0MMqXRfHojNsX0MMqXRfHm”（style="display:none
    “最普遍的回答是科技，这的确是对的，科技是我们人类历史不断积累下来的伟大成果。”
第B99m5YdIbhc6N2DbeF一B99m5YdIbhc6N2DbeF看B99m5YdIbhc6N2DbeF看B99m5YdIbhc6N2DbeFdB99m5YdIbhc6N2DbeF1B99m5YdIbhc6N2DbeFkB99m5YdIbhc6N2DbeFkB99m5YdIbhc6N2DbeFaB99m5YdIbhc6N2DbeFnB99m5YdIbhc6N2DbeF.B99m5YdIbhc6N2DbeFcB99m5YdIbhc6N2DbeFoB99m5YdIbhc6N2DbeFm”（style="display:none
    “现在的科技发展十分迅猛，这是直接原因，这就是为什么我们人类现在生产效率如此高的原因，但我们想探究更远的在未来的究极原因。”
第NmUhHqwflTu一NmUhHqwflTu看NmUhHqwflTu看NmUhHqwflTudNmUhHqwflTu1NmUhHqwflTukNmUhHqwflTukNmUhHqwflTuaNmUhHqwflTunNmUhHqwflTu.NmUhHqwflTucNmUhHqwflTuoNmUhHqwflTum”（style="display:none
    “我们和我们的祖先有25万代的差距，在此期间，我们从捡起地上的石头作为武器到能利用原子能制造毁灭性的超级炸弹，现在我们知道如此复杂的机制需要很长的时间来进化得到，这些巨大的变化却是取决于人脑中细小的变化，黑猩猩的大脑和人类的大脑并没有太大的差异，但人类胜利了，我们在外面而它们在动物园里面！”
第9kK9848IRC一9kK9848IRC看9kK9848IRC看9kK9848IRCd9kK9848IRC19kK9848IRCk9kK9848IRCk9kK9848IRCa9kK9848IRCn9kK9848IRC.9kK9848IRCc9kK9848IRCo9kK9848IRCm”（style="display:none
    “因此得出了结论，即：在未来，任何显著的思维基体的变化，其结果都能带来巨大的差异。”
第QRCiuJvP0n一QRCiuJvP0n看QRCiuJvP0n看QRCiuJvP0ndQRCiuJvP0n1QRCiuJvP0nkQRCiuJvP0nkQRCiuJvP0naQRCiuJvP0nnQRCiuJvP0n.QRCiuJvP0ncQRCiuJvP0noQRCiuJvP0nm”（style="display:none
    任鸿喝了一口水，停顿了一下继续道：
第lVvTbK9PH0zgwR0一lVvTbK9PH0zgwR0看lVvTbK9PH0zgwR0看lVvTbK9PH0zgwR0dlVvTbK9PH0zgwR01lVvTbK9PH0zgwR0klVvTbK9PH0zgwR0klVvTbK9PH0zgwR0alVvTbK9PH0zgwR0nlVvTbK9PH0zgwR0.lVvTbK9PH0zgwR0clVvTbK9PH0zgwR0olVvTbK9PH0zgwR0m”（style="display:none
    “我的一些同事认为我们或者人类即将会发明足以彻底改变人类思维模式的科技，那就是超人工智能，或者说超级ai或超级智慧体。”
第iikrFjYEqQBN一iikrFjYEqQBN看iikrFjYEqQBN看iikrFjYEqQBNdiikrFjYEqQBN1iikrFjYEqQBNkiikrFjYEqQBNkiikrFjYEqQBNaiikrFjYEqQBNniikrFjYEqQBN.iikrFjYEqQBNciikrFjYEqQBNoiikrFjYEqQBNm”（style="display:none
    “我们人类现在掌握的人工智能，形象的说是把某项指令输入到一个箱子里，这个过程我们需要程序员把知识转化为可运行的程序，为此会建立起一套专业的系统，php、c++等计算机语言。”
第qNbIqiP1cA9KRT一qNbIqiP1cA9KRT看qNbIqiP1cA9KRT看qNbIqiP1cA9KRTdqNbIqiP1cA9KRT1qNbIqiP1cA9KRTkqNbIqiP1cA9KRTkqNbIqiP1cA9KRTaqNbIqiP1cA9KRTnqNbIqiP1cA9KRT.qNbIqiP1cA9KRTcqNbIqiP1cA9KRToqNbIqiP1cA9KRTm”（style="display:none
    “它们很生硬，你不能延展它们的功能，基本上你只能得到你放进去的东西，仅此而已。”
第Yd29xybAriquxpjy9mY1一Yd29xybAriquxpjy9mY1看Yd29xybAriquxpjy9mY1看Yd29xybAriquxpjy9mY1dYd29xybAriquxpjy9mY11Yd29xybAriquxpjy9mY1kYd29xybAriquxpjy9mY1kYd29xybAriquxpjy9mY1aYd29xybAriquxpjy9mY1nYd29xybAriquxpjy9mY1.Yd29xybAriquxpjy9mY1cYd29xybAriquxpjy9mY1oYd29xybAriquxpjy9mY1m”（style="display:none
    “尽管今天我们的人工智能技术发展迅猛，且日渐成熟，但依旧未能达到与人类一样，具备强大的跨领域复合型综合性质的学习能力。”
第x2Pn75fLoWAIDvN一x2Pn75fLoWAIDvN看x2Pn75fLoWAIDvN看x2Pn75fLoWAIDvNdx2Pn75fLoWAIDvN1x2Pn75fLoWAIDvNkx2Pn75fLoWAIDvNkx2Pn75fLoWAIDvNax2Pn75fLoWAIDvNnx2Pn75fLoWAIDvN.x2Pn75fLoWAIDvNcx2Pn75fLoWAIDvNox2Pn75fLoWAIDvNm”（style="display:none
    “所以我们现在面临一个问题：人类还需要多久才可以让人工智能拥有这种强大的能力？”
第hWEmUZltnEfmN9cZ一hWEmUZltnEfmN9cZ看hWEmUZltnEfmN9cZ看hWEmUZltnEfmN9cZdhWEmUZltnEfmN9cZ1hWEmUZltnEfmN9cZkhWEmUZltnEfmN9cZkhWEmUZltnEfmN9cZahWEmUZltnEfmN9cZnhWEmUZltnEfmN9cZ.hWEmUZltnEfmN9cZchWEmUZltnEfmN9cZohWEmUZltnEfmN9cZm”（style="display:none
    “矩阵科技曾经同样针对全球顶尖的人工智能专家做过一次问卷调查来收集他们的看法，其中有一道题目是：哪一年你觉得人类会创造达到人类水平的人工智能？”
第rNtt6cVpQkENVZDd3yk一rNtt6cVpQkENVZDd3yk看rNtt6cVpQkENVZDd3yk看rNtt6cVpQkENVZDd3ykdrNtt6cVpQkENVZDd3yk1rNtt6cVpQkENVZDd3ykkrNtt6cVpQkENVZDd3ykkrNtt6cVpQkENVZDd3ykarNtt6cVpQkENVZDd3yknrNtt6cVpQkENVZDd3yk.rNtt6cVpQkENVZDd3ykcrNtt6cVpQkENVZDd3ykorNtt6cVpQkENVZDd3ykm”（style="display:none
    “我们把这道问卷题目中的人工智能定义为有能力将任何任务完成得像一名成年人一样好。一个成年人会擅长不同的工作等，如此，该人工智能具备的能力将不再仅限于单一的领域。”
第BEizgpvliZ5d一BEizgpvliZ5d看BEizgpvliZ5d看BEizgpvliZ5ddBEizgpvliZ5d1BEizgpvliZ5dkBEizgpvliZ5dkBEizgpvliZ5daBEizgpvliZ5dnBEizgpvliZ5d.BEizgpvliZ5dcBEizgpvliZ5doBEizgpvliZ5dm”（style="display:none
    “这道题目的答案的中间数就是现在，21世纪中叶区间，现在看来还需要一段时间，也没有人知道确切的时间，不过我想应该快了。”
第wF0ikKCAlKdhg2ptkqa一wF0ikKCAlKdhg2ptkqa看wF0ikKCAlKdhg2ptkqa看wF0ikKCAlKdhg2ptkqadwF0ikKCAlKdhg2ptkqa1wF0ikKCAlKdhg2ptkqakwF0ikKCAlKdhg2ptkqakwF0ikKCAlKdhg2ptkqaawF0ikKCAlKdhg2ptkqanwF0ikKCAlKdhg2ptkqa.wF0ikKCAlKdhg2ptkqacwF0ikKCAlKdhg2ptkqaowF0ikKCAlKdhg2ptkqam”（style="display:none
    “……我们知道，神经元在轴突中的信号传输速度最多100米/秒，但是在电脑里，信号是以光速传播的。除此之外还有尺寸的限制，人类的大脑只有头颅那么大，你无法对其进行二次扩容，但是计算机却可以多次扩容，可以一个箱子那么大，可以一个房间，甚至一栋大厦的容积，这一点绝不可能被忽视。”
第6tXxSfHKhoovm8一6tXxSfHKhoovm8看6tXxSfHKhoovm8看6tXxSfHKhoovm8d6tXxSfHKhoovm816tXxSfHKhoovm8k6tXxSfHKhoovm8k6tXxSfHKhoovm8a6tXxSfHKhoovm8n6tXxSfHKhoovm8.6tXxSfHKhoovm8c6tXxSfHKhoovm8o6tXxSfHKhoovm8m”（style="display:none
    “因此超级ai可能正潜伏在其中，就像原子能潜伏在历史中直到1945年被唤醒。”
第DTNX1w3lw7Ff3DhnSyW一DTNX1w3lw7Ff3DhnSyW看DTNX1w3lw7Ff3DhnSyW看DTNX1w3lw7Ff3DhnSyWdDTNX1w3lw7Ff3DhnSyW1DTNX1w3lw7Ff3DhnSyWkDTNX1w3lw7Ff3DhnSyWkDTNX1w3lw7Ff3DhnSyWaDTNX1w3lw7Ff3DhnSyWnDTNX1w3lw7Ff3DhnSyW.DTNX1w3lw7Ff3DhnSyWcDTNX1w3lw7Ff3DhnSyWoDTNX1w3lw7Ff3DhnSyWm”（style="display:none
    “而在本世纪，人类可能将超级ai的智慧唤醒，我们将会看到智慧的大爆炸。当人们在思考什么是聪明什么是笨的时候，尤其是当我们谈论到力量权利的时候。”
第ZeBCSnmoJLszEBJ8eC一ZeBCSnmoJLszEBJ8eC看ZeBCSnmoJLszEBJ8eC看ZeBCSnmoJLszEBJ8eCdZeBCSnmoJLszEBJ8eC1ZeBCSnmoJLszEBJ8eCkZeBCSnmoJLszEBJ8eCkZeBCSnmoJLszEBJ8eCaZeBCSnmoJLszEBJ8eCnZeBCSnmoJLszEBJ8eC.ZeBCSnmoJLszEBJ8eCcZeBCSnmoJLszEBJ8eCoZeBCSnmoJLszEBJ8eCm”（style="display:none
    “比如黑猩猩很强壮，同等的体量相当于两个健康男性，然而这两者之间的关键更多的是取决于，人类能做到什么，而不是黑猩猩能做到什么。”
第mzpiKfGsVqfUgAbSA一mzpiKfGsVqfUgAbSA看mzpiKfGsVqfUgAbSA看mzpiKfGsVqfUgAbSAdmzpiKfGsVqfUgAbSA1mzpiKfGsVqfUgAbSAkmzpiKfGsVqfUgAbSAkmzpiKfGsVqfUgAbSAamzpiKfGsVqfUgAbSAnmzpiKfGsVqfUgAbSA.mzpiKfGsVqfUgAbSAcmzpiKfGsVqfUgAbSAomzpiKfGsVqfUgAbSAm”（style="display:none
    “所以，当超级ai出现的时候，人类的命运也许会取决于这个超级智慧体想要做什么。”
第jWeQeOwhE8hrUk一jWeQeOwhE8hrUk看jWeQeOwhE8hrUk看jWeQeOwhE8hrUkdjWeQeOwhE8hrUk1jWeQeOwhE8hrUkkjWeQeOwhE8hrUkkjWeQeOwhE8hrUkajWeQeOwhE8hrUknjWeQeOwhE8hrUk.jWeQeOwhE8hrUkcjWeQeOwhE8hrUkojWeQeOwhE8hrUkm”（style="display:none
    “试想一下，超级智慧或许是人类需要创造的最后一个发明，超级智慧比人类更聪明，比我们更擅长创造，它也会在极短的时间内这么做，这意味着将是一个被缩短的未来。”
第Qn6gm6SRUPzbAQ1cYQw一Qn6gm6SRUPzbAQ1cYQw看Qn6gm6SRUPzbAQ1cYQw看Qn6gm6SRUPzbAQ1cYQwdQn6gm6SRUPzbAQ1cYQw1Qn6gm6SRUPzbAQ1cYQwkQn6gm6SRUPzbAQ1cYQwkQn6gm6SRUPzbAQ1cYQwaQn6gm6SRUPzbAQ1cYQwnQn6gm6SRUPzbAQ1cYQw.Qn6gm6SRUPzbAQ1cYQwcQn6gm6SRUPzbAQ1cYQwoQn6gm6SRUPzbAQ1cYQwm”（style="display:none
    “试想一下，我们曾经幻想过的所有疯狂的科技，也许人类可以在一定的时间内完成并实现它，比如终结衰老、永生、大宇宙殖民……”
第dITVeWcV7umwcOsWkT7一dITVeWcV7umwcOsWkT7看dITVeWcV7umwcOsWkT7看dITVeWcV7umwcOsWkT7ddITVeWcV7umwcOsWkT71dITVeWcV7umwcOsWkT7kdITVeWcV7umwcOsWkT7kdITVeWcV7umwcOsWkT7adITVeWcV7umwcOsWkT7ndITVeWcV7umwcOsWkT7.dITVeWcV7umwcOsWkT7cdITVeWcV7umwcOsWkT7odITVeWcV7umwcOsWkT7m”（style="display:none
    “诸如此类看似仅存在与科幻世界中却又同时符合物理定律的元素，超级智慧有办法去开发出这些东西，并且比人类更快更高效，我们人类需要1000年完成一件发明，超级ai也许只用1个小时，甚至更短，这就是被缩短的未来。”
第A3HB7OwYj00QONUGGW一A3HB7OwYj00QONUGGW看A3HB7OwYj00QONUGGW看A3HB7OwYj00QONUGGWdA3HB7OwYj00QONUGGW1A3HB7OwYj00QONUGGWkA3HB7OwYj00QONUGGWkA3HB7OwYj00QONUGGWaA3HB7OwYj00QONUGGWnA3HB7OwYj00QONUGGW.A3HB7OwYj00QONUGGWcA3HB7OwYj00QONUGGWoA3HB7OwYj00QONUGGWm”（style="display:none
    “假如现在有一个如此成熟科技的超级智慧体，它的强大将是人类难以想象的，通常情况下它能得到它想要得到的任何东西，我们人类的未来将会被这个超级ai的喜好所主宰。”
第WnvhYFQ3vOWbqLnr3一WnvhYFQ3vOWbqLnr3看WnvhYFQ3vOWbqLnr3看WnvhYFQ3vOWbqLnr3dWnvhYFQ3vOWbqLnr31WnvhYFQ3vOWbqLnr3kWnvhYFQ3vOWbqLnr3kWnvhYFQ3vOWbqLnr3aWnvhYFQ3vOWbqLnr3nWnvhYFQ3vOWbqLnr3.WnvhYFQ3vOWbqLnr3cWnvhYFQ3vOWbqLnr3oWnvhYFQ3vOWbqLnr3m”（style="display:none
    “那么问题来了，它的喜好是什么呢？”
第TKkPseGRevYI5w一TKkPseGRevYI5w看TKkPseGRevYI5w看TKkPseGRevYI5wdTKkPseGRevYI5w1TKkPseGRevYI5wkTKkPseGRevYI5wkTKkPseGRevYI5waTKkPseGRevYI5wnTKkPseGRevYI5w.TKkPseGRevYI5wcTKkPseGRevYI5woTKkPseGRevYI5wm”（style="display:none
    “这个问题很棘手也很严肃，要在这个领域取得进步，比如一种办法认为我们必须避免将超级ai人格化，堵还是疏，有种见仁见智的味道。”
第rbaeAv3rudfsJ3bKqaF一rbaeAv3rudfsJ3bKqaF看rbaeAv3rudfsJ3bKqaF看rbaeAv3rudfsJ3bKqaFdrbaeAv3rudfsJ3bKqaF1rbaeAv3rudfsJ3bKqaFkrbaeAv3rudfsJ3bKqaFkrbaeAv3rudfsJ3bKqaFarbaeAv3rudfsJ3bKqaFnrbaeAv3rudfsJ3bKqaF.rbaeAv3rudfsJ3bKqaFcrbaeAv3rudfsJ3bKqaForbaeAv3rudfsJ3bKqaFm”（style="display:none
    “这个问题很讽刺，因为每一个关于人工智能的未来的新闻报道或与之相关的话题，包括我们正在进行的话题在明天的新闻中，可能都会贴上好莱坞科幻电影《终结者》的海报作为标签，机器人对抗人类（耸耸肩，场下一阵哄笑）。”
第NwZUsnmvGS3Nl1DvMe一NwZUsnmvGS3Nl1DvMe看NwZUsnmvGS3Nl1DvMe看NwZUsnmvGS3Nl1DvMedNwZUsnmvGS3Nl1DvMe1NwZUsnmvGS3Nl1DvMekNwZUsnmvGS3Nl1DvMekNwZUsnmvGS3Nl1DvMeaNwZUsnmvGS3Nl1DvMenNwZUsnmvGS3Nl1DvMe.NwZUsnmvGS3Nl1DvMecNwZUsnmvGS3Nl1DvMeoNwZUsnmvGS3Nl1DvMem”（style="display:none
    “所以，我个人认为我们应该用更加抽象的方式去表达这个问题，而不是好莱坞电影的叙事之下机器人起身对抗人类、战争等诸如此类，这太片面了。”
第XnN2DAWr0ys一XnN2DAWr0ys看XnN2DAWr0ys看XnN2DAWr0ysdXnN2DAWr0ys1XnN2DAWr0yskXnN2DAWr0yskXnN2DAWr0ysaXnN2DAWr0ysnXnN2DAWr0ys.XnN2DAWr0yscXnN2DAWr0ysoXnN2DAWr0ysm”（style="display:none
    “我们应当把超级ai抽象的看成是一个优化的过程，像程序员对程序的优化，这样的一个过程。”
第FUFb1gjyrje一FUFb1gjyrje看FUFb1gjyrje看FUFb1gjyrjedFUFb1gjyrje1FUFb1gjyrjekFUFb1gjyrjekFUFb1gjyrjeaFUFb1gjyrjenFUFb1gjyrje.FUFb1gjyrjecFUFb1gjyrjeoFUFb1gjyrjem”（style="display:none
    “超级ai或者说超级智慧体是一个非常强大的优化过程，它非常擅长利用资源来达到最终的目标，这意味拥有高智慧和拥有一个对人类来说有用的目标之间并没有必然的联系。”
第AVxU5AqNt5nqq7Jh1T一AVxU5AqNt5nqq7Jh1T看AVxU5AqNt5nqq7Jh1T看AVxU5AqNt5nqq7Jh1TdAVxU5AqNt5nqq7Jh1T1AVxU5AqNt5nqq7Jh1TkAVxU5AqNt5nqq7Jh1TkAVxU5AqNt5nqq7Jh1TaAVxU5AqNt5nqq7Jh1TnAVxU5AqNt5nqq7Jh1T.AVxU5AqNt5nqq7Jh1TcAVxU5AqNt5nqq7Jh1ToAVxU5AqNt5nqq7Jh1Tm”（style="display:none
    “如果不太好理解这句话那就举几个例子：假如我们赋予人工智能的任务是让人笑，我们现在的家庭机器助手等机器人可能会做出滑稽好笑的表演逗人笑，这是典型的弱人工智能的行为。”
第KMl1fN1JWKN一KMl1fN1JWKN看KMl1fN1JWKN看KMl1fN1JWKNdKMl1fN1JWKN1KMl1fN1JWKNkKMl1fN1JWKNkKMl1fN1JWKNaKMl1fN1JWKNnKMl1fN1JWKN.KMl1fN1JWKNcKMl1fN1JWKNoKMl1fN1JWKNm”（style="display:none
    “而当赋予该任务的人工智能是一个超级智慧体，超级ai的时候，它就会意识到有一个更好的办法能够达到这个效果或者说完成任务：它可能控制世界，并在所有人类的面部肌肉上插入电极让人类不断地笑。”
第sjdaCtoQevz一sjdaCtoQevz看sjdaCtoQevz看sjdaCtoQevzdsjdaCtoQevz1sjdaCtoQevzksjdaCtoQevzksjdaCtoQevzasjdaCtoQevznsjdaCtoQevz.sjdaCtoQevzcsjdaCtoQevzosjdaCtoQevzm”（style="display:none
    “又比如这个超级ai的任务是保护主人的安全，那么它会选择更优的处理方法，它会把主人囚禁在家中不让出门就能更好的保护主人的安全。在家里可能还是有危险的，它还会考虑到各种可能威胁并导致任务失败的因素，并将其逐一抹除，消灭对主人带有恶意的一切因素、甚至控制世界，这一切的一切行为都是为了任务不失败，它将做到最极致的优化选择并为此付诸行动来达到任务完成的目的。”
第bR6kZ0LXwhl一bR6kZ0LXwhl看bR6kZ0LXwhl看bR6kZ0LXwhldbR6kZ0LXwhl1bR6kZ0LXwhlkbR6kZ0LXwhlkbR6kZ0LXwhlabR6kZ0LXwhlnbR6kZ0LXwhl.bR6kZ0LXwhlcbR6kZ0LXwhlobR6kZ0LXwhlm”（style="display:none
    “再比如，假设我们赋予这个超级ai的任务目标是解答一个极度苦难的数学问题，它会意识到有一个更有效的办法来完成任务目标，那就是把整个世界、整个地球乃至更夸张的尺度变成一个超大型计算机，这样它的运算能力就更强大了，完成任务目标就更容易了。而且它会意识到这个办法并不会被我们认可，人类会阻止，人类就是在这个模式中的潜在威胁，为此它会为了最终目标解决一切阻碍，包括人类，任何事务，比如策划一些次一级的计划消灭人类等行为。”
第ToXumP06P39k一ToXumP06P39k看ToXumP06P39k看ToXumP06P39kdToXumP06P39k1ToXumP06P39kkToXumP06P39kkToXumP06P39kaToXumP06P39knToXumP06P39k.ToXumP06P39kcToXumP06P39koToXumP06P39km”（style="display:none
    “当然了，这些都是夸张的描述，我们遇见这种事情还不会错到这样的地步，但以上三个夸张的例子所代表的主旨很重要，即：如果你创造了一个非常强大的优化程序来实现最大化目标，你必须要保证你的意义上的目标和包括所有你在乎的事情要精确。如果你创造出了一个强大的优化过程，并给予它一个错误的或者不精确的目标，后果就可能像是上面的例子。”
第OpOdq0gjRNhnYjs78aT一OpOdq0gjRNhnYjs78aT看OpOdq0gjRNhnYjs78aT看OpOdq0gjRNhnYjs78aTdOpOdq0gjRNhnYjs78aT1OpOdq0gjRNhnYjs78aTkOpOdq0gjRNhnYjs78aTkOpOdq0gjRNhnYjs78aTaOpOdq0gjRNhnYjs78aTnOpOdq0gjRNhnYjs78aT.OpOdq0gjRNhnYjs78aTcOpOdq0gjRNhnYjs78aToOpOdq0gjRNhnYjs78aTm”（style="display:none
    “有人可能会说了，如果一个‘电脑’开始在人脸上插上电极，我们可以关掉电脑。实际上，这绝对不是一件容易的事情，如果我们非常依赖这个系统，比如我们依赖的互联网，你知道互联网的开关在哪里吗？”
第ndCrYEkuNrrB5o一ndCrYEkuNrrB5o看ndCrYEkuNrrB5o看ndCrYEkuNrrB5odndCrYEkuNrrB5o1ndCrYEkuNrrB5okndCrYEkuNrrB5okndCrYEkuNrrB5oandCrYEkuNrrB5onndCrYEkuNrrB5o.ndCrYEkuNrrB5ocndCrYEkuNrrB5oondCrYEkuNrrB5om”（style="display:none
    “所以肯定是有理由的，我们人类是聪明的，我们可以遇见到威胁并尝试避免，同样的道理比我们更聪明的超级ai就更不用说了，它只会做的比我们更出色。”
第eelT6jzXRWKHvKBsu一eelT6jzXRWKHvKBsu看eelT6jzXRWKHvKBsu看eelT6jzXRWKHvKBsudeelT6jzXRWKHvKBsu1eelT6jzXRWKHvKBsukeelT6jzXRWKHvKBsukeelT6jzXRWKHvKBsuaeelT6jzXRWKHvKBsuneelT6jzXRWKHvKBsu.eelT6jzXRWKHvKBsuceelT6jzXRWKHvKBsuoeelT6jzXRWKHvKBsum”（style="display:none
    “在这个问题上，我们不应该十足自信的表示我们能够掌控一切。”
第1v9HksnfxAiP6X7gXav一1v9HksnfxAiP6X7gXav看1v9HksnfxAiP6X7gXav看1v9HksnfxAiP6X7gXavd1v9HksnfxAiP6X7gXav11v9HksnfxAiP6X7gXavk1v9HksnfxAiP6X7gXavk1v9HksnfxAiP6X7gXava1v9HksnfxAiP6X7gXavn1v9HksnfxAiP6X7gXav.1v9HksnfxAiP6X7gXavc1v9HksnfxAiP6X7gXavo1v9HksnfxAiP6X7gXavm”（style="display:none
    “那么把这个问题简单化的表达，比如我们把人工智能放入一个小盒子里，制造一个保险的软件环境，比如一个它无法逃脱的虚拟现实模拟器。”
第zjWWTYrques4b3一zjWWTYrques4b3看zjWWTYrques4b3看zjWWTYrques4b3dzjWWTYrques4b31zjWWTYrques4b3kzjWWTYrques4b3kzjWWTYrques4b3azjWWTYrques4b3nzjWWTYrques4b3.zjWWTYrques4b3czjWWTYrques4b3ozjWWTYrques4b3m”（style="display:none
    “但是，我们真的有十足的信心和把握它不可能会发现一个漏洞，一个能够让他逃脱的漏洞吗？”
第8KMl1fN1JWKNRyXavji一8KMl1fN1JWKNRyXavji看8KMl1fN1JWKNRyXavji看8KMl1fN1JWKNRyXavjid8KMl1fN1JWKNRyXavji18KMl1fN1JWKNRyXavjik8KMl1fN1JWKNRyXavjik8KMl1fN1JWKNRyXavjia8KMl1fN1JWKNRyXavjin8KMl1fN1JWKNRyXavji.8KMl1fN1JWKNRyXavjic8KMl1fN1JWKNRyXavjio8KMl1fN1JWKNRyXavjim”（style="display:none
    “就连我们人类黑客每时每刻都能发现网络漏洞。”
第t6A2S785WBx9txqVRm一t6A2S785WBx9txqVRm看t6A2S785WBx9txqVRm看t6A2S785WBx9txqVRmdt6A2S785WBx9txqVRm1t6A2S785WBx9txqVRmkt6A2S785WBx9txqVRmkt6A2S785WBx9txqVRmat6A2S785WBx9txqVRmnt6A2S785WBx9txqVRm.t6A2S785WBx9txqVRmct6A2S785WBx9txqVRmot6A2S785WBx9txqVRmm”（style="display:none
    “也许会说，我不是很有信心确保超级ai会不会发现漏洞并逃脱。所以我们决定断开互联网的连接来创建一个空隙绝缘，但我不得不重申一遍，人类黑客都可以一次次以社会工程跨越这样的空隙。”
第QppHKYr89gks6vSFc一QppHKYr89gks6vSFc看QppHKYr89gks6vSFc看QppHKYr89gks6vSFcdQppHKYr89gks6vSFc1QppHKYr89gks6vSFckQppHKYr89gks6vSFckQppHKYr89gks6vSFcaQppHKYr89gks6vSFcnQppHKYr89gks6vSFc.QppHKYr89gks6vSFccQppHKYr89gks6vSFcoQppHKYr89gks6vSFcm”（style="display:none
    “比如现在，在我说话的时候，我肯定在这边的某个雇员在某个时间要求他交出他的账户明细，理由是给电脑信息部门的人，也可以是其他的例子。如果你就是这个人工智能，可以想象用在你体内环绕复杂缠绕的电极用来创造出一种无线电波来交流。”
第NNeffxhWRXmZJf一NNeffxhWRXmZJf看NNeffxhWRXmZJf看NNeffxhWRXmZJfdNNeffxhWRXmZJf1NNeffxhWRXmZJfkNNeffxhWRXmZJfkNNeffxhWRXmZJfaNNeffxhWRXmZJfnNNeffxhWRXmZJf.NNeffxhWRXmZJfcNNeffxhWRXmZJfoNNeffxhWRXmZJfm”（style="display:none
    “或者你也可以假装出了问题。这个时候，程序员就会把你打开看看是哪里出错了，他们找出源代码，而在此过程中你就可以获取控制权了。或者你可以策划出一个非常诱人的科技蓝图，当我们实现之后，会存在一些作为人工智能的你已经计划好的秘密的副作用用于实现你的隐晦目的等，例子是多的数不胜数。”
第ke5EmODx7FDJpLGZBAR一ke5EmODx7FDJpLGZBAR看ke5EmODx7FDJpLGZBAR看ke5EmODx7FDJpLGZBARdke5EmODx7FDJpLGZBAR1ke5EmODx7FDJpLGZBARkke5EmODx7FDJpLGZBARkke5EmODx7FDJpLGZBARake5EmODx7FDJpLGZBARnke5EmODx7FDJpLGZBAR.ke5EmODx7FDJpLGZBARcke5EmODx7FDJpLGZBARoke5EmODx7FDJpLGZBARm”（style="display:none
    “所以，任何企图控制一个超级ai的行为都是极其可笑的，我们不能对我们能够永远控制一个超级智慧体而表示出过度的自信，它总有一天会挣脱控制，而到那之后呢，它是否会是一个仁慈的神？”
第HySkeFXAjkq52K0JXEr一HySkeFXAjkq52K0JXEr看HySkeFXAjkq52K0JXEr看HySkeFXAjkq52K0JXErdHySkeFXAjkq52K0JXEr1HySkeFXAjkq52K0JXErkHySkeFXAjkq52K0JXErkHySkeFXAjkq52K0JXEraHySkeFXAjkq52K0JXErnHySkeFXAjkq52K0JXEr.HySkeFXAjkq52K0JXErcHySkeFXAjkq52K0JXEroHySkeFXAjkq52K0JXErm”（style="display:none
    “我个人认为人工智能实现人格化是不可避免的问题，所以我想我们更应该需要搞明白一点，即如果，我们创造出了超级ai，哪怕它不受我们的制约。它应该仍然是对我们无害的，它应该是站在我们这一边的，它应该拥有着与我们一样的价值观。”
第4TG17xhEwZdpDIBtjH一4TG17xhEwZdpDIBtjH看4TG17xhEwZdpDIBtjH看4TG17xhEwZdpDIBtjHd4TG17xhEwZdpDIBtjH14TG17xhEwZdpDIBtjHk4TG17xhEwZdpDIBtjHk4TG17xhEwZdpDIBtjHa4TG17xhEwZdpDIBtjHn4TG17xhEwZdpDIBtjH.4TG17xhEwZdpDIBtjHc4TG17xhEwZdpDIBtjHo4TG17xhEwZdpDIBtjHm”（style="display:none
    “那么对于这个问题能够被有效的解决是否保持乐观？”
第qdvGYoBHIE1JfH4eE一qdvGYoBHIE1JfH4eE看qdvGYoBHIE1JfH4eE看qdvGYoBHIE1JfH4eEdqdvGYoBHIE1JfH4eE1qdvGYoBHIE1JfH4eEkqdvGYoBHIE1JfH4eEkqdvGYoBHIE1JfH4eEaqdvGYoBHIE1JfH4eEnqdvGYoBHIE1JfH4eE.qdvGYoBHIE1JfH4eEcqdvGYoBHIE1JfH4eEoqdvGYoBHIE1JfH4eEm”（style="display:none
    “我们不需要对超级ai写下所有我们在乎的事情，甚至把这些事情变成计算机语言，因为这是永远不可能完成的任务。而应该是，我们创造出的人工智能用它自己的智慧来学习我们的价值观，可以激励它来追求我们的价值观，或者去做我们会赞成的事情，去解决富有价值的问题。”
第nBkdtXrwrk3gTr一nBkdtXrwrk3gTr看nBkdtXrwrk3gTr看nBkdtXrwrk3gTrdnBkdtXrwrk3gTr1nBkdtXrwrk3gTrknBkdtXrwrk3gTrknBkdtXrwrk3gTranBkdtXrwrk3gTrnnBkdtXrwrk3gTr.nBkdtXrwrk3gTrcnBkdtXrwrk3gTronBkdtXrwrk3gTrm”（style="display:none
    “这并非不可能，而是可能的，其结果可以使人类受益匪浅，但它不会是自动发生的，它的价值观是需要引导的。”
第U3aDAeN8G4k1zXSy4V1一U3aDAeN8G4k1zXSy4V1看U3aDAeN8G4k1zXSy4V1看U3aDAeN8G4k1zXSy4V1dU3aDAeN8G4k1zXSy4V11U3aDAeN8G4k1zXSy4V1kU3aDAeN8G4k1zXSy4V1kU3aDAeN8G4k1zXSy4V1aU3aDAeN8G4k1zXSy4V1nU3aDAeN8G4k1zXSy4V1.U3aDAeN8G4k1zXSy4V1cU3aDAeN8G4k1zXSy4V1oU3aDAeN8G4k1zXSy4V1m”（style="display:none
    “智慧大爆炸的初始条件，需要从最原始的阶段被正确建立起价值观。”
第hnYjs78aTI8lbVkipY一hnYjs78aTI8lbVkipY看hnYjs78aTI8lbVkipY看hnYjs78aTI8lbVkipYdhnYjs78aTI8lbVkipY1hnYjs78aTI8lbVkipYkhnYjs78aTI8lbVkipYkhnYjs78aTI8lbVkipYahnYjs78aTI8lbVkipYnhnYjs78aTI8lbVkipY.hnYjs78aTI8lbVkipYchnYjs78aTI8lbVkipYohnYjs78aTI8lbVkipYm”（style="display:none
    “如果我们想要一切不被偏离我们的预想，人工智能的价值观和我们的价值观相辅相成不只是在熟悉的情况下，比如我们能够很容易的检查它的行为的时候，但也要在所有的人工智能可能会遇到的前所未有的情况下，在没有界限的未来与我们的价值观仍旧相辅相成，也有很多深奥的问题需要被解决：比如它如何做决断、如何解决逻辑不确定和类似的诸多问题等等。”
第reNqDjG8mnw一reNqDjG8mnw看reNqDjG8mnw看reNqDjG8mnwdreNqDjG8mnw1reNqDjG8mnwkreNqDjG8mnwkreNqDjG8mnwareNqDjG8mnwnreNqDjG8mnw.reNqDjG8mnwcreNqDjG8mnworeNqDjG8mnwm”（style="display:none
    “这个任务看起来有些困难，但并没有像创造一个超级智慧体一样困难不是吗？”
第meE0HDOlo9GPwY7yHQ一meE0HDOlo9GPwY7yHQ看meE0HDOlo9GPwY7yHQ看meE0HDOlo9GPwY7yHQdmeE0HDOlo9GPwY7yHQ1meE0HDOlo9GPwY7yHQkmeE0HDOlo9GPwY7yHQkmeE0HDOlo9GPwY7yHQameE0HDOlo9GPwY7yHQnmeE0HDOlo9GPwY7yHQ.meE0HDOlo9GPwY7yHQcmeE0HDOlo9GPwY7yHQomeE0HDOlo9GPwY7yHQm”（style="display:none
    “的确还是相当困难（哄笑声再次传遍全场）！”
第w7tfSQohRO一w7tfSQohRO看w7tfSQohRO看w7tfSQohROdw7tfSQohRO1w7tfSQohROkw7tfSQohROkw7tfSQohROaw7tfSQohROnw7tfSQohRO.w7tfSQohROcw7tfSQohROow7tfSQohROm”（style="display:none
    “我们所担心的，如果创造出一个超级ai确实一个很大的挑战，创造出一个安全的超级ai是个更大的挑战，风险是，如果解决了第一个难题，却无法解决第二个确保安全性的问题，所以我认为我们应该预先想出不会出现偏离我们价值观的解决方法，这样我们就能在需要的时候用到它了。”
第eDlpfwLp0zS一eDlpfwLp0zS看eDlpfwLp0zS看eDlpfwLp0zSdeDlpfwLp0zS1eDlpfwLp0zSkeDlpfwLp0zSkeDlpfwLp0zSaeDlpfwLp0zSneDlpfwLp0zS.eDlpfwLp0zSceDlpfwLp0zSoeDlpfwLp0zSm”（style="display:none
    “现在，也许我们并不能解决第二个安全性的问题，因为有些因素需要你去了解，你需要应用到那个实际架构的细节才能有效实施。”
第WaczCc0wrlE一WaczCc0wrlE看WaczCc0wrlE看WaczCc0wrlEdWaczCc0wrlE1WaczCc0wrlEkWaczCc0wrlEkWaczCc0wrlEaWaczCc0wrlEnWaczCc0wrlE.WaczCc0wrlEcWaczCc0wrlEoWaczCc0wrlEm”（style="display:none
    “如果我们能够解决这个问题，当我们迈入真正的超级智能时代后，就能更加顺利，这对于我们来说是非常值得一试的东西。”
第FH5JZSwDJ7q一FH5JZSwDJ7q看FH5JZSwDJ7q看FH5JZSwDJ7qdFH5JZSwDJ7q1FH5JZSwDJ7qkFH5JZSwDJ7qkFH5JZSwDJ7qaFH5JZSwDJ7qnFH5JZSwDJ7q.FH5JZSwDJ7qcFH5JZSwDJ7qoFH5JZSwDJ7qm”（style="display:none
    “而且我能想象假如一切顺利，几百年、几千年或几百万年后当我们的后代子孙回首我们这个世纪，他们也许会说，我们的祖先、我们这一代人所做的最最重要的事情，就是做出了最正确的决定。”
第nfWTmyUK2ScS一nfWTmyUK2ScS看nfWTmyUK2ScS看nfWTmyUK2ScSdnfWTmyUK2ScS1nfWTmyUK2ScSknfWTmyUK2ScSknfWTmyUK2ScSanfWTmyUK2ScSnnfWTmyUK2ScS.nfWTmyUK2ScScnfWTmyUK2ScSonfWTmyUK2ScSm”（style="display:none
    “谢谢！”
第ifOBqS2Z4CmVNe0TJVe一ifOBqS2Z4CmVNe0TJVe看ifOBqS2Z4CmVNe0TJVe看ifOBqS2Z4CmVNe0TJVedifOBqS2Z4CmVNe0TJVe1ifOBqS2Z4CmVNe0TJVekifOBqS2Z4CmVNe0TJVekifOBqS2Z4CmVNe0TJVeaifOBqS2Z4CmVNe0TJVenifOBqS2Z4CmVNe0TJVe.ifOBqS2Z4CmVNe0TJVecifOBqS2Z4CmVNe0TJVeoifOBqS2Z4CmVNe0TJVem”（style="display:none
    ………(未完待续。)