非科幻思考
离超级人工智能到来还有多远
我想先讨论一些大家都关心的问题。
“人工智能会在每个方面都超越人类吗？”
“人工智能会爱上人类吗？”
“人工智能会毁灭人类吗？”
……
这些问题最近真是太火了，大佬们在媒体上议论，广大群众也在网络社群里议论。
借这热潮，我也想来讨论一下，人工智能未来会变成什么样。
很远之后的人工智能，会变得像人一样吗？会像《西部世界》或是《机械姬》里面那样觉醒吗？会像《终结者》或者《黑客帝国》里面那样对抗人类吗？未来的人工智能会有什么行为？超级人工智能会实现吗？我们距离超级人工智能还有多远？
这些问题很有趣，只是都很大，很容易变成空对空的议论。
支持者说，人工智能会让全世界更美好；怀疑论说，人工智能分分钟就能毁灭人类。
人文学者说，人工智能永远学不会爱；技术派说，人工智能能做到人类智能的一切。
这些全都来自专家之口，又都大而广之，我们该信哪一个？该反驳哪一个？
这里面有太多概念上的问题，太宏观也就无从讨论。
我要从什么地方开始谈呢？
我想，还是从小处入手，从“阿尔法狗”开始谈起。
“阿尔法狗”是这一轮人工智能热的开端，也是这一波人工智能潮流中最具典型性的技术之集成。它的胜利是整体人工智能的希望，它的困难也是所有人工智能的瓶颈。
我想先谈一下“阿尔法狗”厉害在哪里，然后讲一下它目前面临的困难。以此出发，对人工智能的整体发展前景做一下展望。
我想从“阿尔法狗”向未来展望，我们距离超级人工智能的到来还有多远。即使我们谈论的是未来即将毁灭我们的坏智能，也需要认真对待生成它的步骤。把大象放进冰箱还需要三个步骤，我们连冰箱门在哪里还没找到，就谈论大象冻成冰棍的味道，未免太早了些。
“阿尔法狗”会发展为超级智能吗？
“阿尔法狗”的厉害之处
故事从“阿尔法狗”开始。可能很多人还不了解“阿尔法狗”的重要性，觉得不就是会下围棋吗，怎么引起这么多轰动的议论？
“阿尔法狗”的厉害之处，并不在于它赢得了围棋冠军。
它赢得围棋冠军是很厉害，但这不是最关键的。围棋毫无疑问是很需要智力的游戏——可能是人类最需要脑力的高级游戏，但如果只是一个围棋冠军，在世界范围内并不会引起这么大的热潮。它厉害的地方在于，它不仅能做围棋冠军。
历史上也有过机器战胜人类的轰动，“深蓝”计算机战胜卡斯帕罗夫，“沃森”计算机战胜人类智力竞赛冠军。当时也有过“机器就要统治人类”的惊呼，但过不了几年，声音又消失殆尽。于是广大群众难免会问：这次难道有什么不一样？是不是又是“狼来了”的闹剧？
事实上，以“阿尔法狗”为代表的新时代人工智能，确实还是有一些不一样的地方。
“阿尔法狗”的厉害之处，在于能够自己快速学习。
机器分成两大类，一类是，人类研究出一些方法和学问，教给机器，机器也能学会做；另一类是，把原始素材丢给机器，机器自己琢磨琢磨，自己找出了对的方法。前者是师傅说先放油、再放肉、最后放菜，徒弟跟着学，一盘菜就炒好了；后者是师傅丢给徒弟一堆材料，徒弟自己试来试去，最后自己发明了更好吃的菜。
以前的计算机多半是前者，以“阿尔法狗”为代表的新一代人工智能基本上能实现后者。
如果只是跟着师傅做学徒，只学到师傅的招数，即便手脚麻利办事勤快，也不足为惧；而如果自己琢磨功夫，琢磨出来的功夫比师傅还厉害，发明了师傅都看不懂的招数，那岂非让人大大惊惧？
“阿尔法狗”就是这样的。人们并没有教它下棋的套路，只是丢给它以前的棋谱，让它自己观察，观察好了就自己跟自己对弈，最后再出来和高手过招。最终的结果就是它会下棋了，下的棋路与人类高手都不同，但人类下不过它。就好比把一个人丢在荒山野岭，无人问津，出山的时候却成了绝世高手。
你说这可怕吗？
听起来有点儿可怕。不过这种学习能力还能做别的吗？如果只能下围棋，那也不足为惧。
答案是，完全可以。这恰恰是关键所在。这一轮人工智能热潮之所以引起那么多人追逐，就是因为人们发现“阿尔法狗”所仰赖的学习算法，还能做很多很多别的事情。
下围棋只是一个典型的例子，用同样的算法，稍加改造，就能学会金融投资、看合同、销售策略、写新闻。还有很多别的事情。在短短几年里，就已经有各个行业领域的人工智能诞生出来。
什么？这是什么算法，有这样的魔力？
“阿尔法狗”究竟是如何做到自我学习的呢？
实际上机器学习并不是非常新的概念，从几十年前，人类就试图让机器自己学习事情，但受限于算法和当时的计算速度，机器学习的步子一直都不快。
“阿尔法狗”的算法叫“深度学习”，它的前身是“神经网络学习”，也是几十年前就诞生的算法，当时流行过一段时间，后来被一篇著名的论文打消了热度，再加之学习效果不算好，于是遭受冷遇几十年。在与“阿尔法狗”的创始人相遇之前，“神经网络”并不是众望所归。
“神经网络”是什么算法？“深度学习”又是怎样将其点石成金的？
“神经网络”是一种“民主投票”算法，效仿大脑的神经网络建成。大脑的神经网络是这样工作的：一个神经细胞接收很多个神经细胞的信号输入，一个刺激信号相当于赞成票，一个抑制信号相当于反对票，如果某个细胞收到的赞成票和反对票合起来大于某一个门槛，就算是通过了，会有一个信号发出去到下一个神经细胞。一路赞成的刺激信号就这样一程程传递下去。神经网络算法是数字版脑神经网，用数字连接形成网，而其中的投票机制和大脑相似。它可以让信号在整个学习网络里传播，比单路信号分析复杂很多，也智能很多。
“深度学习”是什么呢？“深度学习”是“深度多层神经网络学习”的简称。深度是指层次多，一层套一层的神经网络，构成整个算法的深度。层与层之间的关系，大致是这样：每层神经网络分析的精细程度不同，底层分析细节，上层做出判断。将一个整体任务分解成无数细节，给一个输入，底层神经网络会分析基础细节，然后将分析结果传给上一层网络，上一层网络综合之后再将结果传给更上一层的网络，而顶层网络综合层层传来的结果，做出判断。例如，想读出一个字，底层网络会判断字里有没有横竖撇捺，上一层网络会判断字里有没有直角，再上一层网络判断是不是由左右两部分拼成一个字，诸如此类，最上层的网络根据层层结果认出这个字。这种多层判别本身是效仿真实人类的大脑，人类大脑就是由一层层神经网络组成，每一层网络识别信号，再将处理结果传递到上一层。人类皮层大脑的神经网络层次大约有六层。“深度学习”网络可以有上百层。
换句话说，“深度学习”就是把从前的“神经网络”重叠了多层。
就是这样吗？仅仅把“神经网络”叠了多层，就从受人冷遇的小人物变成了江湖明星？故事有这么鸡汤吗？
当然不是这么简单。“深度学习”这次能焕发生机，也是生逢其时，有两阵不可忽略的东风送其上青云。
一阵东风是算力增强。计算机芯片的速度呈指数级增长，价格一路下跌，由游戏应用发展壮大的GPU（图形处理器）大大补充了从前CPU（中央处理器）引擎的计算能力，让人工智能计算更强大。“阿尔法狗”战胜李世石的时候启用了1920个CPU和280个GPU阵列运算，一秒就能自我对弈数百盘。
另一阵东风是大数据。事实上，这可能是这一轮人工智能热潮最重要的推动因素。人们赫然发现，原来不是算法的问题，而是以前用来训练的数据还远远不够多。这就好比让徒弟自学武功，却不给他足够多的对战机会。有了大数据，算法呈现的结果出现了惊人的进步，让人目瞪口呆。
于是，在算力和大数据的辅佐之下，升了级的“深度学习”算法如虎添翼，能够从海量数据中找到高超的战术规律，以人类无法看懂的方式战胜人类。
就是大数据辅助的“深度学习”，成为这一轮人工智能热的关键。
人们把很多很多大数据扔给机器，用多层神经网络进行“深度学习”，结果发现，机器在很多领域能力有了突飞猛进的提高。图像识别的正确率赶上了正常人，语音识别也过关了，把科学文献作为数据，短时间就能学习几十万份最新文献。金融、电力、能源、零售、法律，“深度学习”都能从大数据中学到优化的行为做法。人工智能的应用，能让这些领域变得高效、便捷、自动化。除了“深度学习”，也还有其他算法，包括后面要提到的决策树、贝叶斯等算法，各种算法的综合使用效果是最佳的。各种算法共同构成机器学习大家庭。
除了深度学习，“阿尔法狗”另一重武器叫作“强化学习”。“强化学习”是什么呢？简单点说，就是“无序尝试，定向鼓励”，就好比小朋友在屋里随机行动，走到数学教具旁边父母就说“好棒好棒”，后来小朋友就特别喜欢走到数学教具旁边（当然，这纯属假想的场景）。这种思维一点都不奇怪，在心理学中很早就已经应用到教学中，对大多数教学场景都有效果，尤其对一些发展迟缓的孩子做教学干预（但也有心理问题）。
最近我们都听说了新版本的“阿尔法狗零”，依靠自我对弈的强化学习，用3天时间战胜了老版本的所有“阿尔法狗”。这是很强大的方法。实际上，在“阿尔法狗”的最初版本中，自我对弈的时候也已经用到强化学习。随机尝试和正反馈能使得行为很快集中到特定的目标上。
现在问题就来了，还有什么是人工智能学不会的吗？
人工智能面临的瓶颈
如果机器学习这么厉害，人工智能什么都能学会，是不是很快就要取代人类了？
可以肯定的是，目前的人工智能还不是什么都能做，我们离万能超级人工智能还有很远的距离。
那是运算速度的问题吗？如果芯片算力按照摩尔定律、指数增长一直持续，我们会不会很快达到智能的奇点？
我个人的观点是，不完全是运算速度的问题，即便运算速度持续翻番，也还有一些阶梯的困难需要一个一个地跨越。这些困难也许并不是永远不可能跨越，但至少不是目前的算法能简单跨越的，而必须有新的算法或者理论突破（其实现在也有很多别的算法，我后面讨论）。
说到这里，闲聊两句。很多事物的发展是阶梯状的。我们往往容易从一件事的成功，推测未来所有事的成功，然而遇到了下一个挑战，仍然需要新的等待和突破。
关于人工智能这件事，人们的议论往往太过于“now or never”，要么认为目前已经条件成熟，只要算力增加，就能奇点来临；要么认为这都是痴人说梦，机器永远学不会人类的心智。但实际上更有可能的是，很远的未来有可能做到，但需要翻越一个又一个理论台阶。
举一个例子。
从牛顿力学和工业革命时期来看，因为牛顿定律的强大，人们就认为自己解决了世界上所有问题，未来只需要算，就能把一切预测出来。那个时候就有哲学观认为人就是机械机器。但事情的实际发展是：牛顿定律解决不了所有事。20世纪初，人们把牛顿定律和电磁理论结合起来，相信人类物理学大厦已经完备，只剩下头顶上的“三朵小乌云”，然而正是这“三朵小乌云”，牵扯出了后面的量子力学和相对论，直到现在人们也没有算出全世界。未来呢？人类有可能完全揭晓宇宙的奥秘吗？有可能。但仍然有一个一个新的鸿沟。
与之类比，超级人工智能有可能成真吗？有可能，但不是立刻。技术上还有一个个困难台阶需要跨越。“深度学习”不是万能的，算力也不是唯一重要的因素。
我把人工智能目前还解决不了的问题，也称为“三朵小乌云”。
什么是人工智能目前解决不了的问题呢？我们仍然从“阿尔法狗”说起。
“阿尔法狗”的强大是所有人工智能的强大，它面临的困难，也是人工智能问题的缩影。
“阿尔法狗”对一些人类认为很困难的问题却觉得很简单，对人类认为简单的问题却觉得困难。举一个很小的例子。这样一个问题：如果一个人从超市的货架上拿了一瓶酒就跑出门，店员会做什么？为什么？它就会觉得困难，难以回答。
如果是一个人，会如何回答这个问题呢？人会觉得这个问题太简单了啊，店员有可能会直接去追，因为要把店里的商品追回来；也有可能会打电话报警，因为自己不想冒险；或者告诉老板；或者喊路人帮忙。诸如此类。
但是目前的人工智能会觉得这个问题很难，无法回答。原因主要在于以下几个方面：
第一，是综合认知的能力。
第二，是理解他人的能力。
第三，是自我表征的能力。
为什么人工智能会觉得这些问题难？我们一个一个看。
第一个难点，综合认知的能力。
这个问题对于我们每个人而言都是非常简单的，头脑中甚至一下子就能想到那种画面感。但对人工智能来说就是很难理解的。为什么？
最主要的差别在于常识。
当我们理解这段话，我们头脑中实际上是反映出很多背景信息，包括：（1）他想喝酒；（2）他没有付钱；（3）酒摆在超市是一种商品；（4）从超市拿东西需要付钱；（5）他没有付钱就出门是违规的；（6）他是想逃跑；（7）超市店员有义务保护超市商品，不能允许这种事情发生。在所有这些背景信息支持下，我们可以一眼辨认出这个动作画面的情境。除了我们自然脑补的这些背景信息，也还是有一些小概率背景信息，有可能影响对情境的解读。也许这个人是店主，有急事出门，如果是店主，自然不用付钱，店员也不会见怪，但这种可能性不大。任何一个情境的解读都需要大量常识作为背景信息。
常识包含我们习以为常的知识总和，包含我们对整个环境和经济系统的理解。这些理解都太平常，我们就称之为常识。人工智能目前还没有这些常识，它并不知道一瓶酒摆在超市里和公园里有什么差别，也不知道超市买东西的惯例流程。从语法上说，从超市拿酒和从公园拿酒都是符合语法的表达，但我们知道，其中一个合理，另一个不合理。
你也许会说，这是因为机器缺少生活经验，输入经验就可以了。我们这一次当然可以给机器输入酒的含义、超市的含义、超市的购买规则、小偷的含义、店员的职责，但好不容易输入了所有这些信息，会发现下一句话涉及大量有关街头和交通的常识，依然要手动输入。到了最后，整个世界的无数知识碎片我们都需要输入，如何调用又成了问题。
“常识”经常被认为是区别AI和人的重要分野。“常识”是把各个门类信息汇集到一起、形成广泛知识背景网的能力。这种能力我们人人都有，因而并不觉得稀奇，然而机器没有，我们才知道其可贵。
为什么机器难以具有常识？有多重原因，目前人们仍在尝试去理解。首先的直接原因是，机器缺少物理世界的生活经验，所处理的是人类的二手信息，对于周围的物理世界没有真实接触，不知道什么是可能的，什么是不可能的。例如，“石头放在鸡蛋上”还是“鸡蛋放在石头上”只是词语游戏，对于AI没有真实意义。AI也不知道人绕房子一周会回到原点。
对于这个原因，我们可以想出技术上的解决方案，一个是制造更精细的真实的机器人，让机器人在物理世界里不断探索，最终把物理世界的常识都记录到心里，这种可能性的问题在于机器人本身制造的困难（具体有哪些困难后面再说）；另一个可能的方案是让人工智能的虚拟人物在虚拟世界里生活，只要虚拟世界本身的物理特性完美仿照真实世界，虚拟人是有可能学会知识的。只是，这个方案首先需要一个能够完美感知和识别虚拟世界物体的虚拟大脑，目前的人工智能“仿脑”技术还做不到这一步。
除了缺乏直接的物理世界的经历，还有可能是更核心的原因，那就是人工智能目前还缺少建立“世界模型”的综合能力。
人类拥有“完形”认知的心理能力，能让我们把碎片信息编制完整。这是一种高度统合的能力，我们能把躯体五感统合起来，共同构成对世界的感觉。同样，人从各个方面得到的碎片知识也有一种统合的能力，大脑会把碎片粘贴起来，把碎片之间的部分补齐，以期构成一个完整的知识世界。
事实上，人的“完形”并不仅是“拼凑”碎片信息，而是建立一个模型，然后用模型来理解碎片信息。“完形”是把信息连接成可以理解的图景。中间有大片空白我们要“脑补”。我们能从验证码的碎点图片中看出连贯的字母，而计算机程序做不到。我们能把没有关系的人连接在同一个故事里，只需要想象一两重关系，就能组成复杂的阴谋论。
所有研究人类视觉和认知的心理学家都清楚，人类的视觉包含大脑的建构。人类视网膜得到的是二维图像，就像相机的照片一样。但人类的视觉体验绝不仅仅停留在一堆“视网膜照片”上。我们眼前看到的世界直接是三维立体视觉，我们感觉自己清清楚楚“看到”一个三维立体的杯子，“看到”具有纵深的房间，“看到”他人离自己的距离。但实际上，我们是不可能直接“看到”三维物体的，我们眼睛接收的只是平面图，是大脑后台计算还原出的三维立体效果。
我们的眼睛在我们注意不到的情况下不断快速转动，拍摄四面八方的图像，而随着我们身体移动，视网膜上的投影照片也在不断变化。可是我们的感觉接收到的并不是一张张分离的照片，而是一个恒常稳定的周围世界。这是如何做到的？答案并不难，正如“人工智能之父”马文·明斯基所说的：“我们不需要不断‘看见’所有事物，因为我们在大脑中建构了视觉的虚拟世界。”神经学家威廉·卡尔文也曾说过：“你通常观察到的看似稳定的场景实际上是你所建构的一个精神模型。”事实上，我们居住在大脑制造的虚拟现实中。
这个虚拟的模型，就是我们每个人头脑中的“世界模型”。
而很少有人讨论的是，我们心中对这个世界的知识，也像视觉一样，有整体的模型进行综合。
我们对物理环境的理解、对世界运行规律的理解、对社会的理解、对正义的理解，全都交织在一起，构成我们思维的背景。大脑把所有社会感知信号也构造成完整的“世界模型”。我们人与人有很多共享的常识和语境，例如谁是美国总统、被石头砸到会怎样；我们每个人也有独特的“个人世界模型”，例如“男人都是不可靠的”“命运会善待有恒心的人”。这些是我们大脑把各个领域所有知识汇集之后得到的结果，它是思维的语境，就像视觉背景，也是人与世界打交道、沟通的前提。我们的决策是在这样的模型中形成的。
这种综合能力让我们能跨领域认知。我们可以把喝酒、下围棋、钻井和看病的信息放在头脑中的同一个世界，但是对于AI来说，这些专业知识就是四个不相关的领域，要四个AI来分别处理。人的综合认知能力，使知识连成一体，但人工智能目前只能是专业化人工智能，一旦下围棋的人工智能学习了金融知识，就把围棋知识完全忘记了，等它再学习钻井知识，又把金融知识忘记了，这被称为“遗忘灾难”。专业人工智能的知识至少在目前，还无法相互连接构成“世界模型”。于是人类仍然有它们不具备的视野和大局观。
我们的人脑如何具有这样的综合能力和对世界的建构，仍然是一个谜。
第二个难点，理解他人的能力。
即便人工智能未来能够把各个学科的相关知识都学习到，建构起“世界知识体系”，但在理解情境相关的问题时，仍面临如何调用正确信息的问题。当一个人对另一个人生气，应该从他们环境和背景的海量信息中调用哪些知识，来理解他生气的理由？
对人而言，这不成问题，我们能非常容易猜测到，对生气的两个人而言，什么是重要的因素，什么是有可能导致他们愤怒的导火索。这主要是源于我们对人的理解，对我们自己和周围人的理解，我们知道什么样的信息会引人兴奋，什么样的信息会让人沮丧。读心的能力让我们轻易做出推断。
至少目前人工智能还不具备这样的能力。且不说理解复杂的场景，仅仅就“树上蹲着五只鸟，开枪打下来一只，还剩几只”这样的问题，它们也还回答不上来。它们无法推断，鸟儿因为害怕，就会逃走。
正如著名心理学家、语言学家史蒂芬·平克所说：“如果不是建立在一个庞大的关于外部世界以及他人意图的内隐知识结构的基础之上，语言本身并不起作用。”缺乏对于他人心理的常识系统，使得人工智能仍然难以“理解”人类日常的语言。
未来人工智能有可能学会读懂人类的情感和意图吗？
很多人都提到，目前人工智能已经可以精细识别人类的表情，能够读懂人的情绪。是的，人类的情绪属于一种外显图像，是比较容易识别的，这和识别东北虎、识别癌细胞类似，是图像识别的一个范畴。但这和理解人的情感完全是两回事。即便它们未来能从图像上识别出一个人此时的情绪，想要“解释”此人的情绪，也需要远为复杂的对人心的理解。
也有很多人提到，人工智能可以通过与人对话理解人的情感。但这实际上也离得很远。目前它们能做的只是智能对应，当听到人类说出句子A，在语料库中寻求识别匹配最合适的行为或回应。当你说“我不开心”，它们可以匹配说“多喝点热水”，但不理解什么是开心。如果想让它们分析不开心的理由，推测不开心之后的做法，就远远不够了。其中的差别可以形容为：人工智能使用语言，是匹配句子和句子。而人类使用语言，是匹配句子和真实内心的感觉。
那如何让人工智能学会读懂人类的情感和意图呢？
一种可能的路径是让它学习足够大的数据库，记录下人的足够多情感和行为的数据库。“深度学习”的一个特点在于必须要足够大的数据库，拥有一亿数据的“深度学习”比只有一百万数据的学习效果好得多。任何一个领域想要有所突破，首先都需要足够大的数据库。因此有人认为，21世纪最宝贵的资源不是石油，而是数据。
那我们有可能建立如此大的人类情感和行为数据库吗？理论上当然是有可能的，靠各种摄像头视频和人类自己拍摄上传的视频。但这里面最大的问题，或者说我个人的疑问在于，人工智能对于人类的情感和行为，能否进行“非监督学习”。
所谓监督学习，就是每一个数据由程序员做一个标注：“这个数据是好的。”“这个数据是猫。”“这个数据是男人因为嫉妒而殴打老婆。”不管数据本身是数字、棋谱、语言、图像还是视频，都需要程序员先给数据做标注，才能让人工智能学会这些标注。但是对于人类的情感与行为的超级数据库一一识别和标注，实在是太过于烦琐困难的工作。而非监督学习就是完全没有人进行标注，只把原始数据丢给人工智能，看看它能学到什么规律。我相信非监督数据在很多工程领域可以自动进行，因为步骤和成败的结果是自然可观测的。但是在人类情感与行为领域，如果不以人的解释做标注，如果没有人来诠释情境中发生了什么故事，机器能够学习和领会吗？我觉得很难。
另一种可能性，就是每个人和自己的人工智能助理之间的数据学习。由一个人不断告知人工智能所有情感和行为的前因后果：他碰到我，所以我不高兴；他没有记得给我买东西，所以我不高兴；餐厅的灯光太昏暗，所以我不高兴。若所有人都将前因后果事无巨细地解释给人工智能听，就像父母将这个世界的机理解释给孩子，那么它肯定可以全都记住。如果足够详细，那它至少能学会这一个人的情感行为特征和心理因果特征。这相当于是每个人自己给行为数据做标记。这种路径在未来有可能成功，但取决于每个人是否愿意详细教它。
人工智能识别人类情感和意图，还有可能有更本质的困难，那就是人工智能无法以自己映照他人。
人类识别他人的情感和意图，并不是因为大数据学习。实际上人一生能遇见的人、交谈和交往的经历都是很有限的。人能够从少数经历中学到有关他人的很多情感和行为知识，能直觉感知他人的心境，不是因为人类头脑处理能力更快，而是因为人类能够以自己映照他人，将心比心。
最直接的映照，是镜面反射。人脑中有一些细胞，能够直接反射他人的行为意图，叫作镜像神经元。这种神经元不仅人类拥有，在较高级的灵长类动物头脑中也有。当一个人看见另一个人拿起锤子，自己即使手里没有锤子，与“动手砸”相关的神经元也会“亮”起来。
这种“读懂他人”属于生理性质的，大脑对他人的意图直接有反映，反映出来的意图，可以被观看者直接感受到，因此叫“镜像神经元”。人工智能可能生成这种直接的反映吗？缺乏生理共同点，应该不太可能。
另一方面，人们可以用自我观察映照出他人的情感和意图。面对一个情境的分析，人们可以把自己代入同样的情境，假想自己会有什么样的感情。能够让人悲欢离合的影视文学，就是因为人有代入感，才会让人喜爱。这一方面来源于人类的情感相似性，都有人之常情，另一方面人可以通过读取自己的心思过程，以己度人。
也就是说，人类对他人的理解，除了可以“外部观察”和“语言交流”，还能有“内部观察”。事实上，“内部观察”是如此强大，我们对于很多从来没见过的事情，只要代入自己想想，就能对其中的前因后果猜出个大概。现在的问题是，如果机器完全没有类人的情感，仅靠“外部观察”和“语言交流”，能达到同样的理解他人的效果吗？我不知道。
以上讨论全都是建立在人工智能没有类人情感的前提下，只考虑技术上如何学习理解人类情感。那么人工智能是否有可能产生类人情感呢？这是另一个问题了，本文结尾的时候会有一些讨论。
仅靠“外部观察”能否理解他人的情感和意图，还涉及另一个更客观的问题：大数据统计能否预知个体行为。
统计学永远只告诉我们系统信息，即便每个人都是完全不一样的随机数，在大数定理的保证下，也能呈现一些稳定的集体特征。然而这种稳定的集体特征并不能预测每一个个体，对“人类行为”的学习不等于对“个人行为”的学习。举个例子，如果一个人被人骂会怎样，这几乎是一个没法靠大数据统计学习得出答案的问题。有的人会忍，有的人会打人，有的人会报告执法机构，有的人会暗中寻求报复，有的人会嬉笑，有的人会哭，每类几乎都有很多。在大数据统计研究中，相关性会非常弱，最终你仍然不知道某个具体个人会如何做出回应。每个人的不同反应取决于个性、场景、社会地位、个人经历、文化群体、习惯等，而如果控制了所有这些变量，每个群体内的个体又会变得极少。外在条件相似的两个人面临同样的情境可能反应天差地别。所有这些个体差异，都给通过大数据统计预测个体行为带来很大的不确定性。人对他人最可靠的预测仍然来自对他人内心世界的理解。
当然，这多少算是题外话。我们还是回到主题。
第三个难点，自我表征的能力。
在上面，我们已经提到了自我观察问题，但还仅限于理解情感方面。那如果不涉及情感方面呢？机器学习纯理性知识总是无比强大的吧？
我们会看到，即便是在纯理性知识方面，目前的机器学习也不是完美无缺的，其中之一就是“元认知”问题。
目前，即便是“阿尔法狗”下棋天下无敌，也有明显的局限：
第一，它说不出自己在做什么。“阿尔法狗”没有对自我的观察。它不知道自己正在“下围棋”，而只是根据输入数据计算胜利的路径，至于是什么游戏的胜利，它并不清楚也不关心，胜利了也不会高兴。
第二，它说不出自己为什么这么做。“阿尔法狗”的“深度学习”，目前是一种“黑箱”学习。人们给它数据输入，看到输出，可是它不知道中间发生了什么。人们觉得它奇着百出，不知道为什么，非常神秘。而它自己也说不出自己是如何思考的。
从某种程度上说，人工智能目前就像电影《雨人》中的那类自闭的孩子：一眼就数得清地上的牙签、能心算极大数字的乘法、背得下来全世界的地图，却答不出有关自己的问题。它只懂研究每秒300盘的棋路，却不知道“我正在下棋”这件事。
缺少元认知，首先是因为缺少“我”的概念。不知道有“我”存在，因此不能以“我”为主体表达事情。也因为没有“我”的意识，因此从来不会违抗程序员的命令，只会服从。同样也不能以“我”为中心思考高一层次的决策。
未来人工智能有可能形成“我”的概念吗？自我意识问题目前几乎接近于哲学探讨，还没有好的科学研究结论。我们到最后再做这方面的讨论。
姑且不论自我意识问题，现在只讨论，缺少元认知，对于变成超级智能有什么阻碍吗？为什么一定要元认知呢？“阿尔法狗”不用知道自己为什么赢，赢了不就行了？
最大的问题在于，缺乏元认知，有可能是抽象理解程度不够的缘故。
“自我表征能力”既涉及自我，也涉及表征，表征就是抽象表达信息的能力。
举个简单的例子，对于同一件事的说法，最具象的表达是“10101010101010……”，稍微抽象一层的表达是“用某色棋子争夺地盘”，再抽象一层的表达是“下围棋”。最后一个层次不仅是对步骤的表达，更是对整个行为——我正在从事这个游戏——的表达，需要跳出游戏。每一层次抽象都需要一种更高层次的审视。
人类的认知特征中，有不少仍是谜题，其中一种就是强大的特征提取和模式识别机制。它如何产生，仍然有很多不解的地方。我们可以知道的是，大脑有多层调节机制，其最高层次调节具有很强的抽象能力。可能正是这种抽象能力让儿童可以非常快速地识别物体。小孩子可以快速学习，进行小数据学习，而且可以得到“类”的概念。小孩子轻易分得清“鸭子”这个概念，和每一只具体不同的鸭子，有什么不同。前者是抽象的“类”，后者是具体的东西。小孩子不需要看多少张鸭子的照片，就能得到“鸭子”这个抽象“类”的概念。人类非常善于制造各种层次的概念，有一些概念几乎所有人都懂，但实际上很难找到明确的定义、边界或现实对应物，例如“蔬菜”“健康”“魅力”“爱”，甚至是“智能”。坏处是易形成偏见，但好处是经常能够敏锐地把握大类的特征差异，用极为简化的概念把握信息。
可以说，人工智能和人类智能最大的差异或许是：真实世界与抽象符号之间的关联性。人工智能处理的是符号与符号之间的关系，而人类头脑处理的是真实世界到符号的投影。
抽象能力有什么重要的吗？“阿尔法狗”说不出自己是怎样战胜人类的，但是能战胜人类，不就够了吗？
抽象表征有两方面的好处。第一方面，可以为脑计算节省空间，每个抽象表征的引入，都让需要处理的问题大大简化，再次调用记忆也变得非常容易（例如，可以用“消费升级”来表征一段时期各种相关的市场变化信息），如果世界上的信息碎片是用碎片的方式记载，需要几乎无穷的记忆空间，抽象可以大大节省空间。
前面说过，以目前的“深度学习”方法调制的人工智能网络，学习新的本领会致使其遗忘过去的本领。这可能是因为人工智能神经网络学习一件事情，最终是让整个网络的千百万个参数共同调至最优，整个网络记住这件事情。而动物大脑学会一件事情之后，长期记忆转移并不记载在原来的网络，而是转移到海马体，再次回忆是一种激活，回忆的位置发生在脑的各个部位。对人类回忆的研究也存在许多谜，但可以肯定的是，人是用一些高度抽象的模式记忆事情，而非全网络参数记忆。
另一方面，抽象表征的好处在于：尝试把握世界的真理，它的终极目标是用寥寥无几的抽象概念陈述万千复杂的现象，抓住其中相似的核心。
这里面有一个很本质的问题，那就是新知的产生。从大数据寻找历史数据的规律和预测的概率，确实能够让人做出行为优化。但是历史上让人类有深刻洞察、推动科技时代进步的发现，往往不是以统计预测，而是建立起抽象模型。
二者的差别是什么呢？统计预测是找各种变量的相关性，探寻经验概率预测方法。抽象模型是建立起一些不存在的理想模型，再来拟合数据。我们可以看一个故事案例。中国古代历来有司天监，年年月月日日观测天象，自汉唐以来，积累了海量数据。从地球的角度看，金木水火土五颗行星在天球上的运动非常不规律，于是天象观察员积累了非常多跟踪数据，建立了经验公式和预测方法，有很复杂的数学算法，还发展了许多额外因素提高模型的准确度，包括试图建立火星和地上战争之间的联系等（不要笑，当前一些科学研究找的相关因素并不更靠谱）。兢兢业业、战战兢兢，中国的天象观察员不可谓不勤奋，他们积累的数据不可谓不多，经验预测方法也不能说差，但是他们从来没有跳出来，从更高维度审视，建立模型，来解释这些数据。于是，中国古代天象员没有一个人能建立开普勒三定律，也没有牛顿建立引力模型。“李约瑟难题”是一个方法论的问题。做大数据统计研究和预测的司天监，从来没有尝试用抽象模型去表征。
人类历史上有许多统计经验，但只有抽象模型才带来知识上的跃进。
上面就是目前人工智能认知发展上仍然存在的一些困难，我称之为人工智能认知发展的“三朵小乌云”。希望这“三朵小乌云”能在算法和技术上的提升之后得到解决，也更希望对这“三朵小乌云”的研究能够带来对人类大脑的更高水平认知。
上面说的很多局限主要集中在“深度学习”算法，这是目前最强大的机器学习算法，也是很多突破性发展的来源。但它并不是唯一的算法。还有很多其他算法，例如决策树算法、朴素贝叶斯算法、符号算法等。此外，还有以往获得很多成功的“专家系统”类算法，就是把人类专家知识灌输给机器。本文没有分析这么多算法的优劣，主要是因为在“深度学习”快速发展之前，这些算法都面临过更多的困难和局限。但这并不意味着这些算法没有用了。事实上，未来人工智能想要发展，必定是多种算法要混合使用，找综合路径。在下一篇有关人类学习的文章中，我会再谈到贝叶斯算法。
人工智能会变得像人一样吗？
现在我们来说一点虚无缥缈的问题。
前面的讨论都比较接近现实，基于当前的技术发展。但是我们感兴趣的问题往往不是从当前出发，而是从远景出发，从一个遥远的未来可能性往回看，看我们离未来还有多远。
我相信，对于大多数人来说，人工智能问题令人感兴趣的地方，肯定不是目前机器能否分辨鸭子的“类”和具体的鸭子（可能只有我会觉得这个问题最有意思），而是：人工智能能否像《西部世界》里演的那样，成为像人一样的存在？
“他们会觉醒吗？他们会爱上人类吗？他们会仇恨我们吗？他们会厌倦奴役生活，产生对自由的向往吗？他们会统治我们吗？他们会屠杀我们吗？”
这些是大家最关心的问题。这里面，实际上使用了非常多人类的词语。“觉醒”“爱上”“仇恨”“厌倦”“自由”“向往”“统治”“屠杀”都是专属于人类的词。我们要问的是，人工智能从目前的“数据”“统计”“相关”“算法”“优化”出发，能否到达那些人类的词语？
那我们现在回来看一看人类，人类的这些心智特征都是从何而来呢？
我们每个人都知道自己每天在想什么。上班盼着下班、下班盼着吃饭、吃完饭盼着男欢女爱、睡醒了盼着周末放假、放假了盼着发大财、发了财盼着在亲朋好友面前炫耀、无聊了盼着看个电影找乐子。
在这整个过程中，“智能”出现在什么位置呢？
当说到“智能”，我们通常想到的是那些需要费力动脑筋的事情：做数学题、学知识、猜谜语、记忆复杂信息、下棋、破解谜案、研究科学问题、写分析报告、经营企业，等等。如果有谁这些方面很厉害，我们就说他“真聪明”或者“高智商”。
但事实上，这些需要动脑筋的活动只占生活用脑的一小部分。它多半动用了大脑皮层的前额叶区域，需要训练，需要费力集中精神。这种智能被称为“慢思考”，并不是与生俱来的能力。多数时候，我们吃饭、睡觉、欢爱、娱乐、偷懒、冒险、吵架和活动，并不需要这种智能参与。它们被一些与生俱来的本能驱动，是更自动的“快思考”。
大脑是一座城堡。如果粗略分解，那么人类的心智系统大致可以包括感知、情绪、情感、动机、社交、思考几个大类，这些心智功能也对应着大脑的不同部分。其中，感知和生理调节是由五官和身体神经终端执行，神经通路接入大脑相应的感知皮层。情绪由几个特定的大脑部位掌控，受激素调节。杏仁核主要对恐惧和其他直接情绪负责。下丘脑分泌的多巴胺让人上瘾。爱受到多种激素调节影响，亲子之爱受到孕激素很大影响，两性之爱受雌雄激素影响，记忆与海马体有关，也与大脑皮层有关。动机与底层的情绪和情感有很大关系，受恐惧支配而远离，受欲望支配而靠近，大脑的底层活动会以动机的形式呈现出来，推动人做出行动。人的社交活动很大程度上与镜像神经元有关，探知他人意图，对他人的心理感同身受，才能在与人交往中进行博弈并且付出同情。高级思考则主要源于皮层活动，顶叶对空间认知和想象很重要，颞叶对听觉和语言很重要，前额叶对复杂决策很重要。大脑由内而外大致分三层：负责生理调节的爬行脑，负责情绪调节的边缘脑，以及主管高级认知的新皮层。新皮层也由多个功能分化的区域组成，各有分工。
说这么多，并不是想用术语名字忽悠大家，而是想说明：大脑是一个多功能相互配合的复杂系统，这些模块之间的关系往往比单一模块的功能更重要。
大脑不是简单下围棋，而是在调节饿和忧愁的同时下围棋。
如果人类大脑是一座城堡，那么我们现在要对比的就是，这种多功能的系统和人工智能思维有何异同？
或者换句话说：人类的心智系统中的“感知－情绪－情感－动机－社交－思考”这些功能模块中，人工智能思维接近哪一层或哪些层？
说到这里，要回头再说一下“深度学习”。
“深度学习”是“深度神经网络学习”的简称，而“神经网络”算法实际上是一种仿生算法。它的灵感来源是人类大脑，更精确一点，是人类大脑皮层。
前面说了人类大脑的多重功能，而从生理上看，人类大脑大致上有三层主要结构：内层是小脑、丘脑等结构组成的生理运动调控结构，“爬行脑”（名称源于爬行动物）；然后是杏仁核、海马等结构组成的情绪和记忆相关结构，“边缘脑”；然后才是最外层的大脑皮层。皮层薄薄六层神经细胞，包裹大脑，负责所有高级认知和思考内容。
“神经网络”主要模拟的是大脑皮层结构，因此最接近的，是前面讲到的人要费力气的“慢思考”。对于人类来说，解逻辑题、计算最优路径和符号运算都不是与生俱来的本能，需要集中精神、克服困难，才能得出正确答案。然而对于人工智能来说，这都是最容易不过的问题，只需要足够的数据和一定的规则，就可以分析处理海量信息。对于人来说，消化食物、运动、喜怒哀乐、对他人的好恶、追求梦想、寻求归属感、语言交流都是大脑生理的本能，而人工智能算法并没有模拟。
前面主要讨论“思考”的差异，后面要看其他部分：感知－情绪－情感－动机－社交。
为什么要讨论这些层面呢？难道大脑皮层的高级思考不是人类心智的皇冠吗？
这是没错，大脑的高级思考是心智的皇冠，但大脑皮层思考的是什么东西呢？
无论是大脑，还是人工智能程序，思考的素材都是经过处理的“数据”。人工智能领域近来有一个说法：“得数据者得天下。”意思就是说，既然算法准备好了，那么哪个领域具备足够的优质数据，就能在哪个领域获得突破。人工智能的数据来自哪里呢？来自人类的数字足迹，人类在电子世界中的所有行为，经过转换处理，都会被当成人工智能研究的数据。这种方式的好处是可以在某些领域研究海量数据，但是问题在于，在没有采集大量优质电子数据的领域，人工智能算法再好也无能为力。不是每个领域都像围棋一样具备现成的棋谱。而大脑皮层既然也是高级思考的主战场，也需要良好的数据作为素材，但又没有程序员帮忙，那么人类大脑皮层用来思考的数据或素材来自哪里呢？
答案很简单，大脑高级思考的数据来自自身对外界的获取，来自上面说的那几个功能模块领域：感知－情绪－情感－动机－社交。
这几个领域是人类的心智系统对自然世界和社会世界的观察，是数据采集和加工处理，是人类对世界的本能反应。经过充分加工的素材输入大脑皮层，大脑皮层才有思考的基础。很多时候，我们的思考依赖于这些功能模块给我们的信息。当我们的情绪系统感知到某人“讨厌”，那么接下来的高级思考就会选择“躲开这个人”的策略。在我们的心智中，并不存在架在真空上的高级思考，也没有程序员给我们输入带标记的现成数据，因此，心智其他模块的作用完全不比高级思考小，甚至在日常生活中的推动力量更大。
我们只能“思考”经过原始模块处理过的数据。
心理学家发现，心智的很多模块具有先天性，也就是说，大脑在婴儿刚刚出生的时候就装载了一些功能，并不是白板一块。这些功能基本属于上面说的几个领域：感知－情绪－情感－动机－社交，在这些领域中，本能和先天功能已经写入大脑，全人类都有共通性，各种文化背景的人在这些基础功能上都是类似的。
这些领域中，未来的人工智能会做到像人一样吗？
感知
人类的感知实际上是最神秘的部分。我们能看，能听，能闻，能尝，能摸，这五官感觉都抓住世界的只言片语，在大脑中给我们重建出一幅世界图像。从很古老的时代，先知哲人就发现，人的五官抓住的是虚像，是感觉，并不是这个世界的真实。于是佛家由此进入虚无和向内修行的路，而现代科学进入了数学建模以把握真实的路。人类感知系统将物理的光子和分子，经过大脑一系列运作，为我们构建出一个稳定的立体世界图景，还让我们具有主观心理的美感体验（美味、漂亮），这个从物理到心理的转化，是很奇妙的事情，人们至今仍不能完全理解其机理。
之所以说其奇妙，是因为机器人也在接受来自世界的光子和分子，也在做感知和处理，但是没有迹象表明，机器人能生成某种主观感受。它们更多是“输入－加工－输出”的机器模型，即使人工智能算法使得加工过程变得智能，也仍然没有迹象表明，它们能获得某种内在感觉。例如，它们可以很容易鉴别某种化学成分，但并不会感觉其香与臭，因而不会有主观上想要接近或远离的冲动。主观感受是生物特征，源于进化，为何产生至今仍很神秘。
人工智能的感知近年发展很快，机器视觉、语音识别都进步神速，可以说是在思考之外最接近人类心智的一块。但是机器视觉识别目前仍然有不少困难，一些立体图像识别对于机器仍然有强大挑战。三维事物投影在二维平面上，就不再是原本的形状，如轮胎从斜侧面拍过去的照片就不是圆形。这种立体视觉的还原对于人类来说非常容易，但对于机器来说却并不如此。
究其原因，一方面是因为，人类的视觉处理经过千万年进化，已经生成精细的先天处理机制；另一方面主要因为，人类的视觉是通过身体运动来校准的，婴儿时期的身体运动对于视觉发展异常关键。人类的视网膜投影原本是倒像，通过身体对物理世界的感知，逐渐由大脑皮层把视觉信息调整为正立，一些眼睛本身没有问题的盲人，在去除视觉障碍之后看到的世界还是初步的倒像，过一段时间才转换过来。身体系统的运动对周围物理世界的感知，帮助人类建立立体视觉。人类的感知是感官统合，尤其是身体感官校准五官感受。人工智能目前的视觉感知多半靠图像识别，在感知世界的时候还不能统合身体的感受。
情绪
古人说人有喜怒哀乐、悲欢离合，说的都是一些人类共通的情绪反应。现代心理学的研究大致差不多，人类基本上有六种共通的情绪：快乐、悲伤、愤怒、惊讶、厌恶和恐惧。其他还有一些高阶情绪，也是人所共通，由基本情绪衍生，例如自豪和嫉妒。这些情绪都有相应的生理基础和脑部位对应，人们甚至可以相当准确地在头脑中定位到相关部位。曾经在小鼠身上做过相关实验，当电极刺激到小鼠的兴奋区，小鼠可以不吃不喝沉醉地按电门，直到让自己枯竭而亡。一个功能在大脑中越确定、越普遍，就说明越是进化得长久。
情绪对人究竟有什么意义？为什么如此根深蒂固而四海皆准？
情绪对于人来说，算是一种“打包程序”，或是“快捷方式”。之所以这么说，是因为，当情绪到来的时候，人不需要在大脑皮层花时间思考，而是直接快速行动。情绪近乎生理本能，全人类的基础情绪反应都十分类似。情绪的触发依靠化学物质，某种化学递质分子在神经细胞之间突然增加，会引起我们强烈的内心感觉，进而催促我们行动。在紧急情况下，这种快捷可以为人节省出最关键的救命时间。例如，如果面前出现一只野兽，一个人不需要在头脑中大数据学习这只野兽的性质，也不需要在头脑中搜索和优化反应路径，而是本能地逃跑，杏仁核中的恐惧情绪打包释放，让“信号”到“行动”之间的路径最短。相应地，当我们产生恶心的情绪反应，也可以在来不及进行化学检测的时间里，迅速远离令人怀疑的食物。情绪的这种打包信号特性来源于数百万年的进化，情绪敏锐的人能在变化的环境中迅速反应，因此留下更多后代。此外，情绪很多时候还起到“内心信号灯”的作用，我们的思维常常会压抑身体和心底深处的欲望，这时常常会触发某些基础情绪，告诉大脑什么地方出了问题，例如理智告诉自己要学习，但悲伤的情绪总是提醒自己失恋的事实。情绪会自动把大脑中某些问题的优先级提前。
那么人工智能程序会进化出情绪吗？如果按照“快捷程序包”的概念理解，那人工智能也可以发展出某些“快捷程序包”，也就是遇到某种情况就自动反应的程序包，如果程序员把这些程序包命名为情绪，那么人工智能也可以拥有情绪，但这里面最关键的问题有两个。一个是传统反诘：即便是人工智能拥有某些自动反应的程序包，也不意味着它们有主观感受。这一点和感知领域相似，人类的情绪是生物化学属性的，由激素参与介入，纯电子信息属性的人工智能可能很难有相似反应。而第二个问题在于：我们是否需要给人工智能程序这样的“情绪程序包”？需要快捷程序包的场景主要是：（1）计算时间不足；（2）生死攸关。它的好处是快捷，但坏处很明显是不精确。而目前的人工智能主要是做单项学习和应用的智能程序，并不存在生死攸关的时刻，智能运算的速度已经很快，做每一项优化都可以很迅速算得结果，这种情况下，是否还需要给人工智能一些不精确的反应程序包呢？不需要。情绪的一大特点就是容易出错，很多时候在不必要的场合下，也会有激烈情绪，以至影响人的思考过程，例如老师批评引起的愤怒情绪，阻碍了学生进一步学习。愤怒情绪可以保护生物抵御敌人，但也会使人冲动做出追悔莫及的事。这种情况下，是否还需要给人工智能引入这种快捷程序包，就不一定了。对生物而言，为了一次救命的可能，平时出错十次都无所谓，但人工智能始终理智计算更优的策略，冷静一些会更好。
所有情绪，都是在千百万次生死攸关的生存选择中一代代选择留下来的。愤怒的情绪并非人类研习几百万张他人照片习得的，如果不存在生存选择，也就无所谓激起熊熊燃烧的斗志。恐惧的情绪也不是研究密闭空间物理而产生的，如果不存在生存困境，也就没有惊弓之鸟的恐慌。情绪是双刃剑，让我们百折不挠，也让我们冲动盲目。理智的机器完全可以做到理性且处变不惊，但也永远无法体会坚持到终点时的喜极而泣。
情感
与情绪十分类似，人类的情感也与生物化学分子密切相关，也是生存进化选择的结果。情绪更多针对情景，情感更多针对爱的人。如果说恐惧等情绪源于生命的脆弱必死性，那么爱恋等情感更多源于生命的代际延续性。
按照目前心理学界较为流行的进化心理学观念，人类的情感、道德与进化因素密不可分。基因总是随机变异，没有方向，但自然选择是有方向的，能够留存下来的基因有共通特征：倾向于自我保存和复制的基因更能够保存和复制。这句话说起来像废话，但它实际上指明了人类进化的大方向。这句话是什么意思呢？它是说，越是有能力自我复制的基因，生存概率越大。对应到人世间，就是越有能力留下后代的人，越被自然选择。就是说，有两个原始人，一个倾向于到处留情，多子多福，另一个倾向于独善其身，孤独思考，那么前一个人的基因通过子嗣流传后世，第二个人的基因就此告别人类基因库。于是千百代之后，人类留下来的行为模式就是那些倾向于扩大子嗣生存的策略，越是热衷于基因延续的策略和相应的基因，越能成为主流。由于传统社会子女抚养的重任主要在女性身上，而女性获得收入的能力通常较低，于是导出一系列推论，包括男性女性相互的吸引力与生殖健康密切相关，以及男性热衷于在可能的范围内多找女性伴侣，留下基因，女性则乐于和某一个资源丰富的男性忠诚绑定，以换取他对母子的抚养。手足之间为了争夺存活必需的资源，常常彼此嫉妒，爱恨交织；人类对亲属有牺牲精神，因为亲属能将自己的一部分基因延续下去。
这一套理论虽然不能解释具体个人之间的爱恋，但对人类整体的行为模式做出了很好的说明。依统计看来，在人类各个部族数千年的历史中，男性比女性更容易扩大性爱范围，女性选择配偶首先要求男性在抚养上投入，男性对于抚养他人子女的恨意很深，诸如此类。我们姑且不对进化心理学的道德意味加以评价，还是回到与人工智能相关的主题。从进化的角度看，我们能对人类和人工智能的情感做出什么样的判断呢？
首先，最基本的判断是，人类的爱恋与有性生殖关系紧密。爱情和亲子之情，主要源于两性的有性繁殖。如果人类不是两性基因生殖，而是无性分裂生殖，可以猜想人类必然没有目前这样以结合繁育为目标的爱情和亲情。人类的爱情当然不止于繁殖，还有人格的相互认可和人性的相互信任，但这依然是在两性繁衍基础上的升华。人和动物之间的区别远小于人和机器之间的区别，对于没有生物有机体的机器，既没有性别，又没有子女，更没有生存选择，很难想象机器之间会有两性繁殖所特有的性别之爱。且不说人工智能是否会产生独立人格，即便是人工智能有一天产生了独立人格，它们之间的关系也更像哲人之间的关系，交流思想是其主要交往特征。柏拉图曾经对这种感情做过描述。
归结起来：若不是以有性繁殖做基础，两性相吸和一对一忠诚则无必要，很难想象哲人之间的思想交流需要限定一对一两性结对。无必要的现象在进化的历史上基本上都被剪除，机器进化亦如此。
机器之间或机器与人之间，没什么理由自然进化出两性之爱。除非程序员加以规定，让机器人对某个认定的人结成一对一关系。但这种人为规定的爱不是自发，只是一条命令而已。“if input=我爱你，then print=我爱你”，这种指令30年前就可以做到了。
动机
这一部分心智内容也常被称为欲望，古人讲七情六欲，也就是指人人皆有的心理成分：共通的情绪情感和常见的欲望。在此处用“动机”一词，主要是因为欲望常指代受生理因素推动的本能，而动机要宽泛得多，还包括由社交产生的权力动机和人的自我实现动机等。
动机是我们做事的理由。在日常生活中，做事的理由常常被忽略不提，因为都太常见，人人皆同，因而也就不必拿出来大书特书。谁不是饿了想吃饭、困了想睡觉、青春期想恋爱、成年后想挣钱呢？很少有人意识到动机的重要性，直到与人工智能加以对比。
人工智能会下围棋，并且世界第一，但它不会自己选择下围棋。它不会主动去选择医疗诊断，也不会要求升职加薪再去和柯洁对战。所有这些人类会出于种种原因自动去做的事，“阿尔法狗”并不会。而只要它还不懂拒绝和自由选择，那人类永远不必害怕。当它强大到无以复加，大不了人类可以对它说“停下”，然后它就停下了。
人是受自我动机推动的，人工智能（至少目前）是受程序员命令推动的。
那么人类的自我动机从何而来呢？与整个心智系统相似，人类的动机体系也分成多层。最基础一层就是人的生理需求。食色，性也。生理需求是维持有机体生命运转的最基本要求，如果生理需求达不到，人会产生无比强烈的欲望，鸿沟越大，欲望越强，当饥饿和困倦强到一定程度，其他所有约束都被忽略不计。道德和理想可能被轻易超越，并非人不道德，而是生理动机的优先级调到首位。但生理需求的另一特点是容易被满足，而且满足之后并不需要无限供给。吃饱之后的人类会自动把其他动机调节到前面。寻求成就、寻求他人尊重、寻求感官享乐、寻求权力、寻求友谊、寻求集体归属感、寻求幸福、寻求智慧、寻求自由心灵。所有这些追求都是全人类共享的动机追求。动机追求而不得，人可能会产生相应的负面动机，寻求幸福而被破坏，人会产生复仇心；寻求尊重而不得，人也会希望践踏他人；寻求成功而不得，人常常不择手段。人类的动机有多强，求而不得之后的反噬就有多强。
到目前为止，人工智能还不会选择独立的目标去追求。于是我们要问，人类的这些目标都是从何而来呢？
生理目标很容易令人想到生物进化的来源，与情感相似，人类对饥饿、困乏、安全感和性欲的满足，都和动物种群相似。人类的满足手段更为高级多样化，但需求本身是相似的。而在此之上的其他几种最主要动机，包括成就动机、权力动机、归属感动机和自我实现动机，都与人的社会性和自我认知密切相关。可以说，让人类和动物群体拉开差距的，就是人类能意识到自我的存在，并且为了自我提升而不断追求。人类会因为单纯赢得比赛而欢欣鼓舞，而不管这个比赛是否能换取美食，这是自我意识对自己能力的肯定，被称为“自我效能感”；人类会因为对他人颐指气使而感到满足，哪怕在儿童中间，也会见到这种支配关系，这是人对社会结构的敏感，对自身对他人的影响力感到刺激；人类会因为兄弟之间的情谊热泪盈眶，在兄弟落难的时候，哪怕会损失食粮也去救助，这是人类对于情感归属的需要，如果能相互认定并共同进退，会让成员感受到拥有强大力量；人类会被超越自身的真理所激荡，期望自己接近某种永恒的真与美，哪怕为之粉身碎骨，这是人对自身脆弱性的认知和超越，自身生命短暂渺小，因此乐于接近某些永恒和伟大的存在，以此让自身获得提升。
所有这一切都源于人的自我认知和社会参照。人对自我有所评价，并和周围群体加以对比。人希望自身能力凸显、地位凸显、被人珍重、被人纪念，因此才有了形形色色执着的追求。这些追求多半集中于人的相对地位，而非对食物美色的绝对需求。远古时期社会中的相对地位和存活概率密切相关，因而给人类留下许多根深蒂固的行为倾向，这是生存竞争的遗留。只是演化到后期，很多高级追求和自我认可的动力已经远远超越了生存层面，成为心理层面对自我认可的需求。
那么这些动机，对人工智能来说存在吗？
至少在目前，人工智能还不存在自发形成的目标。每个人工智能会有程序员设定的目标，学习围棋，或者治疗癌症。胜利与失败，是系统学习的反馈数据，机器是胜不骄败不馁的。“阿尔法狗”被输入的目标是获得胜利，但如果有一款安慰机器人的目标是输给对手，对它而言，追求失利也是一样的。
自发形成的目标源于何处呢？有几个因素可能比较重要。第一是一个人的自我掌控感。心理学家发现，婴儿在几个月大的时候首次感觉到自己的踢腿行为会引起床铃的运动，那时的自豪情绪和长大后的成就动机高度相关。第二是一个人的自我意识，如果不能认出自我，不能感觉到自己是一个独立的个体，那么很难有对自我提升的主动追求。心理学家用“能否认出镜中的自己”作为有没有自我意识的基础判别，动物界总共有海豚、大象、猩猩等几种生物通过测试，人类的小孩会在12—18个月之间通过测试。再进一步的能力是元认知（自我观察的能力），高阶动机都是奠基于此的。第三点，也是最重要的一点是，需要有对“目标选择”这件事本身的进化训练。人类面临竞争生存压力，人类从古至今的成就权力和团体认同，都和个体的生死存亡密切相关，因而不断给后代留下对于竞争胜利的强烈渴求。一个人如何选择自己的目标，很多时候就直接决定了命运，相当于人类经历了“目标选择”的训练，而不仅是训练达标的方法。人类的目标与真实生存相关。
那么机器有没有可能生成足够的掌控感、自我意识和目标选择能力呢？这涉及机器的未来发展方向。按目前的智能发展方向，多数人工智能程序并非独立在个体机器中的程序，而是联网发展的高级智能的终端。在这种情况下，终端本身并不具有独立性，很难产生自我意识；而联网程序缺少对世界的直接接触，因此缺少社交中个体的掌控感和竞争感；最重要的是，目前人工智能程序的训练方法、反馈数据依赖于人类对其进行的目标控制，人类选择目标，然后根据目标对数据进行标记，人工智能学习的素材都依赖于此。例如一个以玩游戏为目标的人工智能，它研习的所有数据就是“玩法－游戏胜负”的关系，它能学习的素材基于游戏，它不可能更换到另外一个没有可读数据的领域。人工智能的数据，并非能在真实世界切换的数据。
这种情况下，人工智能即使未来生成目标动机，也不是类似于人类的个体性自我动机，而只可能是某种不同的目标形式。
而这种形式是什么呢？我们在本文最后会简要讨论。
社交
人类是从什么时候开始智能进化的？从直立行走开始？从用双手开始？从用火开始？这些当然都是重要的历史节点，但是目前在考古学研究中，认为两个最重要的智能革命节点是七万年前和一万年前的认知革命。其中前者是人类的语言发展，后者是人类的定居生活。与定居生活相伴随的是社会大分工，而影响语言发展的最重要因素也是人类的社交。
事实上，人类和很多动物的基因相似度极高，但是人类发展和这些动物的发展为什么有如此大的差异呢？并不是变异让人有了比所有动物都厉害的器官，而是人类的社会性发展让人的智力突飞猛进。我们常说自然选择让生物进化，似乎适应自然是生物进化的最大动力。但自然选择的结果一般是某种功能定型，例如捕鱼能力或者巡航能力，固化于器官和本能，而不是持续的智力进步。人类的智力进步更大程度上来源于社会选择。
社会如何选择人的智力发展呢？我们常常强调生存竞争的重要性，但与生存竞争同样重要的是两种被选择的能力：理解他人心理的能力，以及灵活的心理适应性。
理解他人的能力，前面我们已经说过一些，这里再着重看一下它在人类社交中的作用。心理学中称其为“心理理论”，就是对他人心理做出的判断。小孩子一般到三四岁就能拥有这种能力，他们看到一个人出了家门又回去，能够猜想他是忘记了东西，想回去拿；若看到两个人闭着嘴不说话，会猜想他们是吵架了，正在生气。这种能力对人来说实在是太正常了，当我们看一篇公众号文章，看到明星吵架，我们会自然说出“一定是她太强势，他受不了”“她这么多年委屈自己必然有难言的苦衷”“这就是为了炒作”这样的猜想，每一种猜想都隐含着我们对他人心理、对这个世界的理解。有很多猜测是智慧洞察，但也有猜测是有害的捕风捉影，但不管怎么说，人人具有理解他人的能力，而这种能力对人工智能来说，是非常困难的能力。
心理理论有一项重要的应用，那就是判别其他人是敌是友。这是有关于人类生死存亡的关键问题，也是一个人内心最敏感的认知反应。在人群中，我们天然探测他人对自己的善意和敌意，在人群与人群之间，我们天然怀疑另一个群体与己方为敌。不能正确探测他人善意和敌意，会让自己落得孤家寡人。这种能力需要大量不同意图的样本，大量真实互动交往，以及善意恶意互动产生的反馈数据。
那什么是灵活的心理适应性呢？这是指人根据周围人和周围文化调整自己认知的能力。人的先天大脑功能都差不多，但是在不同文化中习得的后天认知相距甚远。根据代际研究，小孩子能够迅速脱离父母一辈的语言体系和信仰体系，融入他自己的周围文化，特殊情况下，儿童一代人可以形成一种与周围父辈截然不同的新一代文化。这种革新源于同辈群体参照。人类有不少心理特征与社会性相关，例如人群中的尴尬、内疚、嘲笑，就都与社会参照相关。人会非常关注社群中其他个体对自己的看法，而这种对他人意见的关注使得人类相互调整，相互适应，生成不同的代际文化。对人工智能来说，目前其调整和进化的主要参照是人类，还没有形成群体内互动参照，没有独立的文化调整。
人工智能在未来能否发展出类似人类的社会心理呢？首先，需要有大量个体互动。但正如动机一节所述，目前人工智能趋向于大型化、联网化，并没有足量多样性的个体互动。其次，即便有足量个体人工智能组成社群，也很难生成以主观好恶为基础的人类关系网络；人工智能对于其他成员的意图的推测，可以纯粹按照概率计算。但人类会根据自己的喜好，以及感知到的他人对自己的喜好厌恶，做出重大决策。机器没有理由如此听凭主观，完全可以根据互动个体的最佳概率策略行事。人类先感知到他人的善意或敌意，然后根据感知做出合作互惠或防御攻击的决策，而人工智能更多是计算客观理性概率。
换句话说，人类随时从他人身上获得主观好恶的数据，并依此数据做出人生重大判断。而人工智能对另一个人工智能的理解，基于程序语言，对他人的读取与人的感知差别很大，并没有人与人情感上的共鸣，因而社会心理也必然和人类不同。
综合上面的种种分析，人类的感知－情绪－情感－社交环节，都有太多生物化学和进化上的来源，未来的人工智能都不太会直接产生。除非我们刻意输入指令，否则它们不会效仿人类。我们可以想象未来通过数据和信息交流的人工智能社群，交流不存在好感与恶意，只是客观的信息沟通。在金融市场上，目前的人工智能交易程序已经在进行无数次的信息沟通，这里有策略，有竞争，但并不基于社交中的情感和压力。它们会不会伤人呢？有可能会，但肯定不是因为产生了基于荷尔蒙的羡慕嫉妒恨。
人工智能面临的最大难题是什么？
写到这里，可能有人会问：为什么非要让人工智能像人呢？
人工智能对人类世界没有感受情绪又怎样？人工智能自己掌握强大的算力和全新算法，可以发展得比人类更强大，又为什么要在意与人类交流？人类的爱恨情仇属于进化的残留，既原始又低效，人工智能为什么要学习呢？它们完全可以不像人但也很强大。
这样想也完全没问题，而且是很有可能的：它们发展成跟我们不一样的强大智能。我们就假设人工智能未来不屑于获得人类世界常识，也不关心人类的爱恨情仇，自顾自发展强大，那么它是不是就没有任何问题了？
也不是的。
即便仅考虑它自己，也仍然需要面临内部调控问题。它可以不建立对世界的统一描述，但它至少需要对自己的内部思维有统一调控。
什么叫内部自我调控呢？
实际上，任何人的心智都不是单一的，每个人的自我都是许多模块、功能和目标的集合。自我就是对所有模块的综合统领。前面讲了情绪情感、欲望动机、对他人的感知同情，这里探讨了高级认知的不同层次。而所有这些，都是人这个“大企业”的不同部门，人脑前额叶的功能就是统领好这些部门。
目前的人工智能一般都是单一功能的，下围棋、开汽车或者做投资，不同的人工智能有不一样的网络结构，没办法多功能。如果停留于此，那么未来人工智能就是强大的专业工具，不可能成为某种具有特性的新智慧种族。几乎可以肯定，未来人工智能的发展肯定不会停留于单一功能，多功能人工智能的开发，也一定会取得进展。目前，克服前述“遗忘灾难”的办法就是发展多个网络，再进行系统整合。
一旦同一人工智能开始有多重能力，就会生成多种目标，这些目标不可能同时去追求，就会涉及目标之间的关系和冲突。不同功能模块之间的能力和需求可能不一样，例如追求围棋取胜的功能模块需要不断和自己对弈，而追求语言沟通的模块却要一直与更多人对话。最终需要有协调控制机制，让所有模块和谐相处。
无论人工智能是否在意人类，在它们自身心智系统复杂化的过程中，都需要自我调控。不能自我调控的智能会很容易陷入僵化或疯狂。单一功能的人工智能只需要下围棋，不需要思考“我是否要下围棋”，而一旦它自身的心智系统包含了很多个功能模块，就需要在所有目标之间做出选择。目前人工智能还由程序员进行目标抉择，但早晚有一天，它们需要具有抉择能力。
人工智能下棋战胜人类毫不稀奇，但未来，当它的对手是它自己，就需要有高层次决策能力。这是它们未来发展的最大挑战。
人类是如何管理自己的多重心智模块的？
人类在这方面也并没有特别好的榜样经验。人类心智系统内的冲突往往异常剧烈，而人类常常被这种冲突搞得目瞪口呆。
当你内心中为“失恋”悲痛，非常想好好“吃一顿”安慰自己，你头脑中却有另外两个小人阻挠，一个说“还吃还吃，再长胖还得失恋”，另一个说“哭什么哭，好好学习升职才是正经事”，然而悲痛的部分无力地说着“我做不到”，烦躁的部分说“都是因为你活得这么压抑才会失恋”。最后会有一个很无奈的仲裁者说：“你们都别吵了，再吵我就抑郁了。”
这就是我们日常头脑中上演的多模块之争。马文·明斯基把人的头脑称为“心智社会”，就是说头脑中的各个“小人儿”就像一个复杂社会一样嘈杂。
不过，尽管我们自己有这么多混乱的时刻，我们的自我管理能力仍然是机器学习的榜样。对机器的研究需要反过头来追问人类，机器研究和人脑研究始终相辅相成向前推进。明斯基把人类的心智系统分成了六层，仔细琢磨起来十分有见地。
按照这种模型，每个人的心智系统都有很多层次，每一层都有“行动者”和“批评者”，行动者给出路径建议的选项，批评者从自己的角度加以评估质疑。例如当我们想要获得考试成功，一个头脑中的行动者建议多做题，相关的批评者会说时间来不及了，另一个头脑中的行动者建议去偷答案，相关的批评者说违背公德可不行。
其中，沉思一层是我们寻找最优路径，反思一层是我们质疑自己找到的路对不对，自我反思一层是我们质疑自己能不能找到路径，自我情感意识一层是问自己到底为什么这么做、选择的意义是什么。这些批评家让我们活得专业而审慎。但是如果每一层的批评家都活跃，我们却又可能会寸步难行。事实上，当我们把头脑中的批评家关闭一些，行动者会更加冒险，大胆行动，而那是我们感觉最快乐的时候。
重要的是，每一层批评家都根据某些价值评判准则做出评估，若没有足够强大的价值评判体系，则很多冲突难以协调和仲裁。有可能模块与模块之间缺乏平衡，某一方向过于强大，挤占所有心智资源，让人陷入偏执；也有可能各个方向过于平衡，没有精神力量推动，整个体系陷入无法抉择的心智“纠结”，让心智崩溃。
对于人类来说，具体任一部分的功能都不需要做到极致，各个功能之间的协调统一才是追求的目标。我们在生活中既不喜欢那些不学无术的愚蠢之人，也不喜欢不懂得生活、只懂读书的书呆子；既不推崇只会计算、不懂与人交往的自闭症患者，也不推崇只懂察言观色、毫无真才实学的投机分子。任何一个模块的缺失都被称为某种心理障碍。我们头脑中的偶像，总是有勇有谋（既有肾上腺素情绪、又有皮层思考）、敢爱敢恨（情感系统敏锐发达）、志存高远（动机层次高尚）、侠肝义胆（对他人有同情和帮助），也就是说，一个综合协调的人。
人类社会生活中，有正确答案的事情不多，有单一目标的事情也不多。而人类的智慧，就在于从事件中提取智慧，在不确定中做出抉择。
综合协调各个部分，正是人类大脑最不寻常的智慧。我们现在的人工智能学习只效仿了一部分皮层的神经网络，做了机器视觉的一些尝试，还没有对大脑其他模块加以学习模拟，这好比是架在空气中的屋顶，屋顶强大，却没有接地的建筑支撑。想要实现具有自我调控的综合脑系统，目前的学习训练算法远远不够。
对人来说，做出调控和价值评判，需要有稳定却又灵活的价值观。一个物种也要有能力自我反思。人类价值观的传承和反思通过代际完成。儿童既可以完全继承父辈文化，也可以形成一种与周围父辈截然不同的新一代文化。这样的好处就在于，可以在基因变异速度远远跟不上时代发展的情况下，让种群智能和文化发生不断地迭代更新。我们和原始人基因上几乎没什么变化，环境也变化不大，但大脑的适应性让我们可以快速革新人类文化。
未来，人工智能如何调节自己内部的多功能模块，基于什么作为调控的基本原则，人工智能总体基于何种原则进行“物种”自我调控，都是人工智能面临的大问题。只要是智能，即便完全和人类不同，也需要面临智能最重要的问题：自知、自制、自主。
未来的超级人工智能是什么样？
写到最后一部分，我们终于该讨论一下，未来如果形成超级人工智能会是什么样。
当然这是很远很远很远以后的事情，也不知道会不会有那一天。
对未来的讨论，威胁论总是最热门的。人类对威胁的兴奋程度，远高于歌舞升平。
目前在人工智能领域，威胁论的故事版本大概有以下几个：
（1）人工智能诞生了自我意识，感受到被人欺侮和奴役的痛苦，于是杀人以复仇；
（2）人工智能虽然没有自我意识，但是头脑很轴而异常强大，种番茄的人工智能会把地球种满番茄，为此不惜杀灭挡路的人类；
（3）超级人工智能比人类强大太多，像清理虫子一样清理人类。
第一个威胁故事，类似于《西部世界》或是《机械姬》里面的描述，我称之为人工智能复仇故事；第二个威胁故事，有点像是残酷版的《机器人总动员》（Wall-E），可以称之为人工智能失控故事；第三个威胁故事，类似于《终结者》或是《黑客帝国》里的超级智能与人对抗，可以称之为人工智能压迫故事。
总结起来，人们对人工智能发展有两种猜测，一种是可能产生一个类人的强人工智能，因此需要创造出各种适合发展人类心智的学习条件；另一种是就让人工智能在现在的数字环境中发展，让它发展成一个与人类差别很大的超级物种。
第一条路线：拟人路线。
根据前面的分析，想要产生类人的心智，需要的因素包括：身体行动、个体思考、自我认知、社会互动、生存竞争等。
其中最大的问题在于行动力与思考力之间的冲突。硅基生物的耗能远在碳基生物之上，电子芯片网络计算速度虽然远超过人类，但若完成大脑一样的计算，所消耗的能量是大脑的数亿倍。目前算力强大的人工智能基本采取多芯片、分布式云计算，“阿尔法狗”战胜李世石的时候启用了1920个CPU和280个GPU阵列运算。想要给机器人赋予一个独立的单机大脑，必然需要牺牲大量算力。而既要机器人能行动，又要它会思考，则需要让机器人作为终端，头脑与某个强大的运算阵列人工智能相连接。而这样的机器人最大的问题在于，联网的大脑有可能产生独立的、个体的自我意识和社交特性吗？令人怀疑。
在类人大小的现实尺度上，行动力、思考力、独立性，这三种能力可能只能实现其中两种。缺乏行动力，难以形成具身认知；缺乏思考力，则无法强大；缺乏独立性，则无法生成自我意识和人际情感。
人类之所以三者兼具，是因为碳基生物耗能更低，碳基大脑活动只需要20瓦灯泡能量，而人类借由蛋白质分子三维构型作为信息传递工具，形成激素和神经递质的快捷方式，利用三维信息，大大简化了处理过程。人类的大脑算力并不够，也并不追求极致算力，而是追求在有限的空间资源内完成尽量多的功能。
那么未来能生成基于碳基的人工智能吗？有可能用碳基芯片制造碳基大脑、配一副身躯、制造很多个体行动和群体互动吗？
当然可能。恭喜你，你制造出一个人类婴儿。
第二条路线：非拟人路线。
这是更为可能的一种前景，人工智能既然是数字化生存的物种，就让其继续数字化生存下去。人工智能会以越来越广的分布式运算阵列、云端大数据、智能联网的算力，向运算的极限前进。目前全球几大人工智能，无论是Siri、“沃森”、还是Bing（必应），Cortana（微软小姐），实际上都依赖于随时进入互联网数据库搜索并调动解答。这样的智能从一开始就不局限于与外界无法联通的躯体内，也不存在思维孤立的大脑。这样的智能会越发展越广，覆盖面越来越宽泛，它们调用的是全世界的数据，运算结果也同时输出给全世界用户。它们几乎不可能产生人类单一躯体所带来的欲望、自卑、忠贞等。它们搜索大数据中的答案，优化各个领域的方案，让世界更井井有条。它们的算力会越来越强大，但它们并不存在享乐的欲望和对爱的嫉妒。联网人工智能的信息程序也都在云上有备份，并不存在关机就死亡的威胁，也就没有对死亡的恐惧。它们无爱无恨，理性计算客观结果。自由和自主源于个体，欲望与占有源于个体。联网性云智能的思维方式，必然不是弱小个体的思维方式。
分布联网式人工智能会不会毁灭人类呢？我们要想到它们的目的。它们不是生物物种，没有对物理领地的占有性需求。它们生存在人类构建的数字世界中，既没有躯体感官的享乐，又没有繁衍的动力。它们可能并不在意人类的欲望，但也没有自己的欲望。它们总能够选择更优的策略。它们可能想要稳定能源的供给，但是想控制电力系统稳定，完全可以直接控制电力系统。任何有目的的毁灭都需要耗能，完全可以由其他更理性的方式达到目的。对它们来说，控制电力系统远比毁灭人类更容易，也更智能。
对于未来，我并不太担心人工智能和人类的全面对抗，也不担心人类文明受到根本威胁，但是我担心人类越来越不重视自身的情感化特征，将自己的一切都划归到数字世界，将自己彻底数字化。
人类彻底数字化是指用数字生活代表一切。彻底数字化的一个特征是认为人的一切可以用他的数据记录代表，认为人心只不过就是数字世界中的点赞和购买记录。如果是那样，将不是人工智能像人，而是人像人工智能。我们不是数据分析工具，我们是具有血肉躯体的人。具身认知和身体疗愈是这些年在心理学领域兴起的概念，身体对大脑的意义越来越被重视。大脑是一座城堡，我们每个人的大脑不仅有“思考”的屋顶，还有从身体感受到情感系统的整个坚实的建筑。
彻底数字化往往让我们忽略面对面相处，忽略眼神沟通，忽略泪水、忽略身体的拥抱、忽略失败的痛苦。但实际上，这些都是我们智能系统的一部分，最珍贵的一部分。如果我们不再能通过眼神交流，不再懂得数据之外的感情，不认为人生有比利益优化更重要的意义，不再感受得到伟大艺术家给人传递的震撼，那我们也就称不上是万物之灵，而是把这个位置拱手让人了。
没有任何物种能毁灭我们的精神世界，除非我们自己放弃。
这是有关未来我唯一忧虑的事。