基于安全问题，探讨新人工智能学科的架构

摘要：我们不会永远弱小和无知，我们不断总结过去的愚昧，狠狠地将无知甩在了后头。但是，我们却很难走出“傲慢”的陷阱。

一、引言

“弱小和无知不是生存障碍，傲慢才是。”[1]这是刘慈欣在其作品《三体》中所提出的一个论断。《三体》称不上是一部伟大的作品，抛去其对中国科幻界的意义，让我们暂且“冷却”一下我们爱国热血，我们会看到它与所有伟大的科幻作品一样，驾驭探寻的幻梦和野心，跨越时间的洪流去探寻人类存在的终极意义和价值，直抵宇宙的终结。

不是每个人都有这种幻想，也不是所有人有时间幻想，更不是所有人认同幻想的价值。你看，我们还有那么多现实问题要处理，怎么还有时间去关心周边的事物，更别提这种宇宙诞生与消亡的事情，难道不是么？

宇宙的诞生与消亡的确是一件抽象的事，就其观测来说的确虚无缥缈，但是对它的探索是人类数千年以来激情与热血的体现，是人类精神的内核的重要部件。没了这点，也许人类就没有今天，更何况未来。无论过去现在还是未来，人类中的幻想家们是少数，有时他们甚至被视为怪胎，贴以“不合群”的标签，但他们确实，代表人类的未来。

人类自诞生那天起，我们的大脑就在社群活动的刺激下、与周围环境的交互下，创造并进化出愈加复杂的心理、思维和行动等高级能力。我们不断摆脱思维的束缚，去发现自然的方程式，创建数理化的分支，探究的触角遍及人文与社会，更幸运的是，我们总有那么一群人，始终怀着终极探寻的情怀，或一己之追求，或崇高之情操，或未知之敬畏，终归忘我而无欲。确实，我们不会永远弱小和无知，我们不断总结过去的愚昧，狠狠地将无知甩在了后头。

但是，我们却很难走出“傲慢”的陷阱。

关于人工智能，相信大家并不陌生，被视为“人类智慧的最后堡垒”的围棋被人工智能围棋程序AlphaGo征服，而在此之前由于围棋上的计算和局势判断上极端复杂性，围棋这项博弈游戏，被认为只有人类独有的“大局观”才能胜任。自2016年1月27日，国际顶尖杂志Nature发表论文，展示了计算机程序第一次在不让子的情况下，在完整的围棋竞技中击败专业选手，此后AlphaGo迭代迅速，先后研发出了AlphaGo Lee、AlphaGo Master、AlphaGo Zero版本。 2017年10月19日，最新的AlphaGo Zero仅用了40天的训练，不借助人类棋谱的数据，仅依靠自我博弈，达到了之前AlphaGo Master的水平，等级分达到5185。正如发表在Nature杂志上耿直的标题：[2]

Mastering the game of Go without human knowledge

AlphaGo Master在Elo围棋等级分中为4858，在奕城围棋网和野狐围棋网与数十位人类顶尖高手对决，取得60:0的战绩。而AlphaGo Lee是在2017年3月份击败韩国九段，世界围棋冠军李世石的版本，围棋等级分约为3739，比当今的世界第一柯洁3664分高出75分。[3]

我不仅关注了这个事件本身，我还搜集了再AlphaGo事件发生后社会各界的反映，第一类是不明觉厉的震惊；第二类是恐惧，害怕玩人工智能这团火烧了自己；第三类是相对客观的分析和评论，对AlphaGo的历程、技术原理、应用逐一阐明，最后提倡面对AlphaGo所应秉持的态度。

但是无一例外，在最后涉及人类尊严的问题时，总是一句“无论如何，机器的算法始终由人类创造和设计，强人工智能的时代还未到来，我们无须杞人忧天。”

人类实在是太傲慢了。

二、现实主义与人工智能的“中二病”

奉持现实主义的人会说，你怕是看科幻小说看多了吧，科幻小说中有诸如此类关于人工智能的描述：

(1) 全世界的经济、运输、生产活动由人工智能的超级计算能力调配，人类迎来了最美好的时代，人类已经忘记了劳动的感觉；

(2) 人工智能已能够产生独立的意识，能够意识到“我”，描绘自我本征，这时该如何与人工智能相处，是否意味着新“物种”的诞生；

(3) 人工智能觉醒，展开了争取自身权益的抗争，我们要如何接纳“他们”？将其视为“人”吗，“他们”会应该享有人类的受教育、选举、人身自由、社会经济等等的权利吗，会履行义务吗，会受到法律的约束，在犯罪时受到刑事责任的追究吗？

(4) 人工智能逐渐形成一个拥有自我认同的群体，因为其优于人类的诸多性质而开始觉得人类没有存在的必要，甚至更为复杂的情绪，不完全是“无情的毁灭”，可能是以一种更高种族的视角看待，又或许是宇宙殖民的必须；

(5) 人工智能的艺术创作水平已可以和人类相当，缔造了人机艺术交融的时代；

(6) 人类开启了星球殖民的时代，建立了属于自己银河殖民帝国，出现了人工智能、外星种族和人类种族的矛盾；

(7) 拥有人工智能的机器人参与犯罪；

(8) 人工智能产生感情，与人类发生感情的羁绊。

曾经在看过一篇文章《宇宙中二病》[4]里：

在以数百万作为时间尺度，以数千光年作为距离尺度，我们谈论超越城市之上的星系、悬臂、黑洞，想象曲率引擎、空间跳跃、虫洞和星门，沉溺在跨越星际文明冲突之中，借此感受个人生命的渺小和个人意志的伟大。
……
一切沉溺于雄奇、壮观、宏大和牺牲的情感都叫做二，同时幻想自己是这一切的中心叫做中，合起来即使中二。

又如阿西莫夫在《基地》系列小说中，构建了一个拥有400亿人口的银河帝国首都川陀：

为了供应川陀居民的口腹之需，每天都有数以万计的太空舰队，负责载送来自二十个农业世界的粮食，船队规模比任何一支帝国制造的星际舰队都要庞大……

这些宏大的构建，在现实主义的人眼里，是脱离现实的存在，去探讨他们没有什么实际价值，这是“中二病”的体现。比起谈论这些，我们更应该关注诸如此类的问题：

(1) 无人驾驶汽车若是发生交通事故，责任应该如何追究？由汽车制造商还是无驾驶系统软件承担，亦或是车上乘客？汽车保险与赔偿如何适用？

(2) 人工智能应用于医疗领域，若医疗机器人出现系统故障或计算错误，造成病人死亡或终身残疾，此时的责任应该由谁去负责？

……

就“中二”而言，我赞赏它内在的精神核心，但是我们仅仅中二是不够的，打个不恰当的比方，以“中二”般的看待人工智能，就似19世纪初期西欧欧文、圣西门和傅里叶主张的空想社会主义。而后来马克思和恩格斯的《共产党宣言》的提出标志着科学社会主义的诞生，在理论和实践的基础上辩证的看待历史和世界，显得更为成熟和完善，不再是不切实际幻想。这不代表空想社会主义就没有意义，它是科学社会主义的思想来源，这正如“中二”人工智能观的意义，我更多把它视为一种必要的谨慎。

我们不能轻视人工智能安全的问题，人类社会总有一种惯性，就是出现自己不能掌控的东西，总是宣称一切还在控制之中；出现在自己预料之外的事物，总是故作镇定；出现超越自己理解的事物，总是自我安慰；出现比自己强的事物，总是对自己抱有过高的信心。这常常就会造成人类整体不能很好地把握威胁，做出行之有效的预防措施，通常等问题出现以后，才绷起那根松懈的神经，可是如果是一件无法挽回的事儿呢？

我提出“人类傲慢”这个观点并不是否认技术带给我们的进步，也不是对人类能利用好技术持悲观态度，而是如今在这个技术飞速发展更迭的时代，我们必须谨慎。我们给人工智能冠以“人”的开头，赋予了机器以人的属性，这本身就说明这项技术对于人类种族的意义，决定了人工智能问题的特殊性。

环境污染后，我们可以牺牲利益去医治我们的地球母亲；经济萧条后，流动的资本会慢慢复苏；战争过后，时间的冲刷会慢慢弥合炮火的伤痕。但是，一旦人工智能跨越人类所能控制和理解的范畴，我们，将无法挽回。

天堂或者地狱，人类不再有选择的权利。

这也许未来很久都不会发生，但是谁也不能否认这不会发生，而我们这次难道要像过去一代又一代的人们一样迟滞和傲慢吗？

三、威胁：人工智能专业化、技术奇点

基于普遍认同的对人工智能的分类，我们将人工智能分为三类：弱人工智能、强人工智能、超人工智能。[5]

3.1 弱人工智能的专业化带来的威胁

知乎专栏的一篇文章[6]中讲述了一个有趣的故事，一家小型创业公司开发一款人工智能产品叫做隔壁老王，该系统利用机械臂在卡片上写字表达对顾客的感谢，极大地节省了人工人力。

公司给隔壁老王设定的目标是：

尽量多的书写和测试，尽量快的执行，并且不断提高效率和准确性

书写的内容是：

我们爱我们的顾客
~隔壁老王机器人公司

后续公司的工程师陆续提高该人工智能系统的水平，先后改进书写的字体，提高书写的自然流畅度、效率和准确性；增加语音识别模块；改进视觉识别算法；提高硬件水平。之后，为了让该系统变得更智能、更聪明，让它接入互联网，自由抓取、整理和学习万维网上的各类资料信息，出于谨慎，仅仅只让人工智能扫描了一小时。可是一个月后的某天，地球上的人类相继死亡……

隔壁老王只是仍在忙忙碌碌地书写着公司的字条，有条不紊地清除掉地球上多余的生物，复制自己，收集一切资源来书写卡片，整个地球被纸片堆满，成了宇宙卡片生产的中心。

我们下方将讨论到的超人工智能，也许能够理解人类的伦理道德和价值观，但是一个弱人工智能，也许会为了努力实现它原本的被设定的目标，去做一些在人类看来非道德的行为。这就是弱人工智能的危险所在了。理性的存在会通过最有效的途径来达成自己的目标，但前提是符合伦理道德和价值观。而理性的存在不属于弱人工智能的范畴。

也许在隔壁老王看来，它只是单纯为了完成公司给隔壁老王设立的目标，以及完成程序设定的书写的内容：

我们爱我们的顾客
~隔壁老王机器人公司

它对人类没有恶意，就好像你剪头发时对头发没有恶意一样。

3.2 技术奇点带来的强（超）人工智能形成带来的威胁

波兰数学家Stanislaw Ulam于1945年和计算机科学家冯·诺伊曼的一次关于科技加速度发展的对话中第一次把“技术奇点”这个词置于科技发展的上下文里：[7]

我们的对话集中讨论了科技的不断发展及其对人类生活所带来的改变，这些发展及改变似乎把人类带到了一个可以被称之为人类历史的奇点的阶段，在这个阶段过后，人类的社会和生活模式将不能够再继续下去了。

技术奇点一词，借鉴了物理学上黑洞的概念，因为引力接近无穷大，时空无限弯曲，现有的理论在该处失效。而根据技术发展史总结，未来不可避免地，技术发展将会在很短的时间内发生极大地接近于无线的进步，超出一般正常模型所能预测的范围。

这张图中的点代表的是人类历史的一些关键点，横轴代表该事件距离现在的时间，纵轴代表该事件距离下次关键事件的时间间隔。我们可以看到距离现在越近，关键事件之间的时间间隔越短，表现为纵坐标的值越来越小，而且点与点横坐标的差值在400千万年的尺度下越来越小，基本“黏”成一条竖直的直线。

人类文化的发展，经过新人阶段的旧石器时代晚期以后，先后进入新石器时代及金属时代。愈到后来发展愈为迅猛。从新石器时代的开始到现在至多不过一万年左右，金属时代的开始到现在不过数千年，人们开始利用电能到现在不过一百多年，原子能的利用则仅是最近几十年的事。
——李四光《人类的出现》[8]

我们习惯性地参照于过去10~20年的技术水平，来对未来进行预估，就好比是在圆周上截取极短的一段，根据数学上微分的原理，可以近似为一条直线，但实际上它是有弧度、曲率这些参数构成的圆弧段。我们站在时间的区段上，视野是非常局限性的，我们容易以线性的方式错估历史，而真正重要的发展潜力我们却忽略了。

我为什么要在第一部分的引言中提到AlphaGo，不是因为它所取得成就，是因为它实现的过程以及使用的原理越来越像人了。AlphaGo Zero从零开始，不使用任何人类数据进行训练，仅仅依靠自我训练，如左右手互搏一般，实现自我迭代发展，人类围棋3000年的积淀，被计算机缩短为短短的3天（Version AlphaGo Lee水平）。

在评价Zero的算法时，许多人工智能的专业人士并不认为有什么新的理论提出，而是回归了简单。创新工场AI工程院副院长王咏刚用了四个字：[9]

大道至简

假设，我们给人工智能提供一个合适的环境，包括气象、水文和生态等等，构建简单的社群，给人工智能构造一个类似人类初级大脑一样的神经反馈模式，让人工智能去像人类一样进化，那么结果会怎么样？

也许到了奇点的那一刻，昨天我们还在嘲笑人工智能端杯水都端不稳，今天可能就和它争辩哲学命题，而明天我们可能就完全不了解它。它将如何看待我们，如何对待我们，我们可以像期待发现地外文明一样，想象与它共处的美好未来，但是我们不能保证它们，以我们人类角度定义的友善，来对待我们。所以我们必须谨慎。

四、新人工智能学科

鉴于上述分析，我觉得现有的学科体系中，缺乏对人工智能“安全”的研究，对人工智能发展的趋势中可能遇到的安全问题并未抱以足够的重视。我觉得，在未来有必要对现有的人工智能学科进行改革，孕育一个崭新的人工智能学科形态，以满足人工智能发展的需求，应对可预见的威胁，使人工智能更为成熟、健壮和安全。

我们觉得新人工智能学科分为三个方向：

人工智能法学方向主要把人工智能看作是人类的工具，研究如何合法、合理和合适使用工具，发掘人工智能存在的潜在威胁，裁决人工智能涉及伦理道德的冲突，应对人工智能事件；而人工智能哲学方向主要把人工智能看作是一个具有智慧的生命体，探究这个新生命诞生的意义与价值，研究人类种族如何与人工智能进行沟通交流，给人工智能构建世界认知体系，以及帮助人工智能更好地认识人类世界，需要对人机结合体 “仿生人”，或者完全的强人工智能进行全面的研究，如何调和他们与社会的矛盾，如何保证他们的社会权益，如何对他们的自我身份定义，如何引导他们的与自我意识融洽相处。

艾萨克·阿西莫夫层提出的机器人三定律，被认为是描述机器人应服从的安全法则的经典：[10]

第一，机器人不得伤人，或任人受伤而袖手旁观；
第二，除非违背第一定律，机器人必须服从人的命令；
第三，除非违背第一及第二定律，机器人必须保护自己。

但就其实施，除了对人类社会施加的一系列影响，如人工智能的法律颁布、向社会普及观念、加强学校教育等；也要考虑到技术的细节问题，人工智能内置算法的设计、芯片规格和参数指标、内核的运行逻辑，如何通过技术的分析，弄明白人工智能的“意识”从何而来，还有如何将“机器人三定律”写入人工智能的算法中，固化到芯片中？这都需要技术人员的参与，故还有第三个方向，人工智能技术方向。值得强调的是，现今（2000~2020年）对于人工智能学科研究主要就是集中在技术层面，而法学和哲学层面则没有涉及，而在这个新的学科体系中，将会整合现有的人工智能学科分支，标示为技术方向，吸收所有人工智能相关的研究的成果。

这个新的学科将是跨越人文和自然科学鸿沟的典范，属于强交叉学科，涉及物理、计算机、通信、软硬件原理、文学、哲学和法学等。虽然现在我们觉得一个能掌握那么多的人必定是个天才，但在未来，人类的学习能力不可同日而语，为了跟上知识爆炸增长的速度，为了一次次突破发展的瓶颈，人类必须以最好的状态、和盛满知识的优秀大脑，去应对危机和挑战。

将三个方向的研究目标和内容总结如下：

人工智能法学方向

（1）人工智能的伦理道德的界定，法律规范制定
（2）人工智能的相关规范及法规的实施
（3）人工智能的责任定性与划分
（4）人工智能的事件的处理、影响控制

人工智能哲学方向

（1）与高级人工智能的沟通
（2）对高级人工智能的引导
（3）人类对人工智能的态度
（4）人机结合的社会生态哲学

人工智能技术方向

（1）自我意识与电子器件的关系
（2）人工智能相关的软硬件原理
（3）涉及人工智能的基础学科和专业内容
（4）以技术的形式将法学和哲学的研究成果实现在人工智能的载体上

五、后记

在我的这篇论文里，仅仅只是分析了人工智能的现状，提出了新人工智能学科的构想，建立了一个大致的框架，只具筋骨而未具血肉，最重要的是期望有人能意识到人工智能的安全威胁，是具有现实性而非危言耸听，不是只停留在科幻小说和电影的幻想中。也是看到了一个崭新学科正露出微光，从东方冉冉升起，后续期望有机会能成为完善这个体系的一人。