人工智能的危险-智能投顾人工投顾

中科院自动化研究所研究员曾毅博士认为，当前基于数据的人工智能与生物智能有着本质的区别，未来人工智能的发展方向将是“基于机制的人工智能”，也就是探寻生物智能的本质——理解人脑是如何协调数百项认知功能去解决没见过的问题的，基于此，实现机器的拟人化和人类认知的机械化两个方向的逼近，发展出具有意识的超级智能生命体。

文章节选自中国人民大学出版社的《人工智能全球格局：未来趋势与中国位势》一书。本书由国务院发展研究中心国际技术经济研究所、中国电子学会和智慧芽合著，集结了人工智能领域众多权威人士的见解。作为一本人工智能科普读物，该书得到百度CTO王海峰博士盛赞，以及倪光南、邬贺铨两位院士的共同推荐。

智能数据分析≠真正意义的人工智能

关于媒体上流行的产业驱动的人工智能故事，大家都听过非常多了，我对它的总结是：当前几乎所有这些工作，准确地说叫作基于数据的人工智能（data based artificial intelligence），简称数据智能。

因为，这些工作是基于大规模数据，找到一个合适的数学函数来拟合数据，产生拟定的预期。如AlphaGo，如果反问：通过AlphaGo一系列的工作，我们对人类的决策机制有了哪些新的认识？其实是几乎没有的。因此，基于数据构建的看似智能的模型，其实质只是信息处理，是大规模的数据分析，与“智能”的本质无关。

但是，我相信未来的人工智能是向机制智能发展的。

我们称之为“基于机制的人工智能”（mechanism based artificial intelligence）。也就是说，我们真正需要追寻的是生物智能的本质。对于任意一项认知功能，包括对人脑如何去协调数百项的认知功能去解决没见过的问题的探索，都是在回答它的科学本质是什么。

人工智能研究从开始至今不过短短几十年，而真正人类的智能已经经过了数亿年的演化，在演化过程中通过基因突变等获得了不同的尝试人工智能的危险，生成了不同物种的脑。为什么数亿年的演化，把人脑塑造成这样，而不是果蝇或者小鼠的样子？人脑又有什么样的优势？我们做的工作是从不同类型物种的大脑的建模开始，从中抽象出认知结构与机理，然后应用到机器智能当中去。

数亿年的演化使得人类大脑把人体系统的结构和机制有机地组合起来，使得人体系统表现出更好的鲁棒性和抗噪能力。在目前最理想的状况下，深度学习系统在有足够多的数据训练，并且测试数据与训练数据都理想的状况下，能够获得与人类大脑同等水平的鲁棒性和抗噪能力。但是，在任何客观的现实世界中，理想的状态都不存在。脑结构与机制的结合使得高度鲁棒性和抗噪性可以从我们构建的类脑模型中涌现出来，这并非特定的函数设计所能实现的。

人类显然有很强的决策能力。人的决策是通过若干脑区的协同来实现的。我们把这样的决策模型放到无人机、机器人等不同平台上，使得无人机等学会自主避障、自主穿越复杂场景。所有的规则都是在线学习的，机器人学习的速度刚开始跟人类似，后面则比人快，因为其计算能力比人强。把同样的模型用到机器人上，让它去理解人类的意图等不同的应用，其实都只是类脑人工智能在狭义人工智能中的一些进展。

目前正在探索的问题，就是如何使得模型变得通用。

比如，谷歌DeepMind提出的模型，它希望一种网络可以应对多个任务。可问题是：当它学习第二个任务的时候，第一个任务的性能也会下降，如果它还想同时完成第一个任务的话，第二个任务也不能得到最好应对。这都不是人类智能的特点。人脑至少可以分成近250个脑区。这些脑区是自组织协同的，可以去应对不同的任务，也就是说，人脑的自组织原理才是最重要的。

人类的认知功能至少有150项，到目前为止，全世界的人工智能顶多挑战了其中的30项，剩余的绝大多数很少有人去研究，比如说意识的问题。在神经科学领域，可以通过2～5周的训练使得以往被认为没有自我意识的恒河猴通过镜像测试，从而被认为涌现出了自我意识。在这样的实验的启发下，我们构建了猴脑的点神经元脉冲神经网络模型，该模型具有363个脑区。应用近似猴脑的计算模型以及相关的训练实验，机器人通过了镜像测试。目前人工智能的危险，虽然机器人可以通过镜像测试，但问题是，我们能说机器人有了自我意识吗？

我们可以说，猴子通过了镜像测试，所以我们认为这个物种有自我意识；但反过来，机器人通过了能够说明吗？实际上不行。所以，现在我们的结论是：一个不具备人类认为的意识能力的机器人，它也能通过镜像测试。因此，传统镜像测试判断物种是否具有自我意识的假设实际上是不严谨的。实现机器的自我意识是我们重要的努力方向，很显然这还只是初步自我感知的开始。

总体而言，我们希望未来能通过计算建模来发现智能演化的规律，预测智能演化的趋势，并应用到未来人工智能模型的自主智能演化上。

探索未来智能的两个方向

当前我们在智能的探索上做了两个方向上的努力，一个是从机器向拟人化发展，一个是从人类向机械化方向发展，扩展人类的智能。

一方面，机器的拟人化（humanization）使得机器越来越像人，使它能够与未来的人类更好地交互。另一方面，人类也在通过延展认知能力提升着自身，所以这部分工作叫作mechanization，就是机械化。未来人工智能的发展就是从上述两个方向逼近，向具有意识的超级智能生命体发展。

两个方向需要回答的科学问题出发点是不一样的。从机器智能的角度出发，我们需要回答它们到底是谁、我们到底怎么构建一个具有智能的生命的问题。从人类的角度出发，问题是我们人的大脑是怎么工作的、我们是谁。未来，有意识的超级智能生命体的发展不是割裂的，不是两个方向无关的努力，而是两个方向朝着统一的目标深度融合探索的未来。

我国的人工智能社会伦理问题研究亟待加强

未来的超级智能体很显然会超越现代人类智力水平，其风险和伦理问题将是非常关键的一环。

我国已采取很多举措，《新一代人工智能发展规划》中也对人工智能的社会风险与伦理高度关注。但必须承认，我国在这方面的研究仍然是落后的。

现在的人工智能发展，看上去如火如荼，但实际上往哪个方向走才是正确的道路大家并不确定。是否走了弯路，是否出现方向错误，决定了一个国家未来的人工智能是不是真正能够发展好。如果做的根本不是人工智能，而是看似智能的大数据分析、大规模信息处理，那我们就应该老老实实地讲和做这件事情，而不是去冒充人工智能，否则的话，会对我国人工智能的科学发展造成本质干扰和深远影响。

另一件让人担心的事，是在2018年9月新加坡政府未来战略研究中心与剑桥大学合办的人工智能未来论坛上，一位美国投资人做报告时说，她在乌镇智库的大会上与我国人工智能相关企业负责人交流时，发现他们几乎没有表现出对人工智能风险与伦理问题的太多实质的考虑，这让当时大多数与会人员相当吃惊。我当即回答，中国的新一代人工智能发展不可能容忍国家的人工智能平台对未来社会的影响不做深度战略思考。

这位投资人说的情况反映出来一个现实问题，就是我国人工智能从业人员在对人工智能潜在的社会风险与伦理问题以及对未来治理方面的考虑与国际社会是有距离的。如果未来我们在人工智能风险与伦理领域仅仅是跟随研究，将会非常被动和麻烦，由此可能产生的对社会负面影响也将很难估量。

举两个例子来看从技术角度对安全、伦理问题进行考虑的必要性。现在深度学习模型在产业界当中运用得已经非常普遍，但现实是，一张飞机的图片，当其中一个关键像素被改变时，深度学习模型把它识别成了狗；一张青蛙的图片，当其中一个关键像素被改变时，深度学习模型认为这是一辆卡车……试想，当未来大规模的视觉监控系统甚至是机器警察在马路上开展监控任务时，发现一个三岁的小孩手里拿着一只乌龟，这时候有一张白纸片恰好落到合适的位置上，深度学习系统认为小孩拿着的是一把枪，那时技术决策和真实场景之间的差异又会引起什么样的潜在风险？这样一个设想值得我们去深度思考现有人工智能模型的安全性和透明性。

有些人认为，有意识的人工智能是一件非常危险的事情，但我的看法是：没有一定程度自我意识的智能模型才是最危险的。

因为具有自我意识的类脑模型具有自我识别的能力、拥有动机与价值观的能力、区分自己和他人的能力、看待他人和看待自己一样的能力，以及与他人共情的能力。机器人如果不能识别自己、不能为他人建模，那么它为了完成任务就可以牺牲所有人类的意义，因为它根本不理解人类和它们之间的关系。

德国哲学家托马斯·梅岑格（Thomas Metzinger）说，我们给机器人植入人工智能伦理只有一次机会，如果失败了，那么人类未来就会被颠覆了。我的观点是：如果采用植入的手段，则可能一次机会都没有！因为人工智能的模型可以演化，你可以植入，它就可以构建一个接口，使得你植入的部分被包围，未来这个被植入的部分就不能正常工作；并且它可以自组织出一个网络，在输入和输出的层面掩盖一切变化，使得判断模块仍在继续工作，但实际上从整体的模型角度，它已经不再符合人类的规定了。这就是我认为“一次机会都没有”的原因，这也是为什么我认为一个机器人应该具有揣测别人的思维、认知共情甚至情感共情的能力的原因。

每个国家、机构、企业不同的伦理法则版本，都是在阐述我们对人工智能伦理和准则的认识。包括未来生命研究所（Future of Life Institute，FLI）阿西洛马会议制订的23条原则，看上去覆盖得比较全面，但仍有很多重要的要素被遗漏。对未来超级智能体的规划与风险的评价是这些法则之间区别最明显的点，阿西洛马原则的领先性也由此显现。

与之相比，目前中国在人工智能伦理方面的研究存在如下问题：

（1）缺乏相对全面和长远的考量，没有对全方位风险的预测。

（2）中国准则如何与国际上各版本协同。大多数其他国家在做此类研究时，参与者至少有一半是人工智能从业人员，但是我国目前绝大多数人工智能伦理与治理的研究参与者没有人工智能的研究和行业背景。如果出现这样的情形：提出的伦理准则在技术上是不可行的，而伦理与治理研究人员对技术上的潜在风险又不理解，就会对未来社会形成潜在危险与严峻的挑战。

未来的人工智能发展，需要有正确的模型，以及在正确模型基础之上发展起来的伦理法则。最糟糕的情形是，我们现在的人工智能，看似是有智能的，但其实它自己也不知道自己在做什么，以及它会带来怎样的风险。诚然，就像人工智能系统不能依赖规则系统去罗列所有的规则一样，我们也不可能构建一个极其完善、没有任何漏洞的伦理准则。

我们盼望的是，未来的人工智能系统构建于我们人类的智能之上，它的机制与人类是一致的，它从演化的角度可以出现更多的利他行为。如果它的模型是从人类基础之上发展起来的，那么它至少已经有了很多的利他行为基础及协同发展的动机。即便也还是会出现一些非预期状况，这恐怕也是发展人工智能最安全的途径之一。

读者福利

送书福利！

中国人民大学出版社为全球技术地图的读者提供5本《人工智能全球格局》，参与活动即可获得！

欢迎留言写下你的看法，留言点赞数最高的5位朋友，我们将送上一本《人工智能全球格局》。

点赞数统计截止时间：2019年11月10日23:59。