英文书名《Human Compatible: AI and the Problem of Control》
作者简介
斯图尔特·乔纳森·罗素 OBE（生于 1962 年）是一位英国计算机科学家，以其对人工智能的贡献而闻名。[5] [3]他是加州大学伯克利分校的计算机科学教授和加州大学旧金山分校的神经外科兼职教授。[2] [6]他是加州大学伯克利分校的 Smith-Zadeh 工程系主任。[7]他在加州大学伯克利分校创立并领导了人类兼容人工智能中心(CHAI)。[8]罗素是人工智能领域最受欢迎的教科书：人工智能：在 135 个国家的 1,500 多所大学中使用的现代方法的合著者。 – 维基百科
总结
这本书清晰地解释了超级人工智能时代的到来如何威胁到人类的控制权。越来越智能的机器会按照我们的要求行事，却不会按照我们的本意行事。人机共存的方式，要以以下方式设计的机器：
- 机器会征求许可；
- 当指令不明确时，机器会谨慎行事；
- 而且机器会允许自己被关机。
1. 如果强人工智能成功了
人类未来最大事件：
- 我们灭亡了（因为小行星撞击、气候灾难、流行病等）。
- 我们都能永生（医学攻克了衰老）。
- 我们发明了超光速旅行，征服了宇宙。
- 高级外星文明造访了我们。
- 我们发明了超级人工智能。
超级人工智能是最佳选项，因为超级人工智能将帮助我们避免灾难，实现永生和超光速旅行。它将代表我们文明的一次巨大飞跃，或者说一次突变。超级人工智能的到来在许多方面类似于高级外星文明的到来，但前者更有可能发生。也许最重要的是，人工智能不同于外星人，它是我们对其有发言权的东西。
强人工智能的到来时间不可预测，目前很多技术也还不成熟。
2016年和2017年，DeepMind（英国人工智能公司）的AlphaGo 击败了前世界围棋冠军李世石和后来的冠军柯洁，而此前一些专家预测，这种事情如果会发生，也要到2097年才会发生。
众所周知，科学突破是很难预测的。我们回顾一下另一领域的历史。
20世纪初，也许没有哪位核物理学家比质子的发现者、”分裂原子的人“ 卢瑟福 Ernest Rutherford更为杰出。与他的同事一样，卢瑟福早就意识到原子核储存了巨大的能量，然而，主流观点认为开发这种能源是不可能的。
1933年9月11日，英国科学促进协会在莱斯特举办年会，卢瑟福在晚间会议发言。正如他之前几次所做的那样，他想原子能的前景泼了冷水：”任何想从原子的转变中获取能源的人都是异想天开。“ 第二天早上，伦敦《泰晤士报》报道了卢瑟福的演讲。
匈牙利物理学家西拉德 Leo Szilard那时逃离了纳粹德国，住在伦敦罗素广场的帝国酒店。他早餐阅读了《泰晤士报》的报道，随后出去散步，仔细思考着报道的内容，构想出了中子诱发的链式核反应。在不到24小时的时间里，释放核能的问题从不可能变成了基本解决。次年，西拉德申请了核反应堆的保密专利。1939年，法国颁发了第一项核武器专利。
人工智能在未来几年内成功的可能性不大。尽管如此，为可能发生的事情做好准备才是慎重之举。
迈向超人类智能的步伐似乎是不会停止的，明面禁止会转移到地下黑市进行，但超人类智能的成功可能意味着人类的毁灭。然而，并非一切都失去了意义。机器是有益的，因为它们的行动有望实现我们的目标。机器的目标是不确定的，所以机器必须要顺从人类：它们会请求许可，会接受纠正，会允许自己被关闭。
2. 人类和机器的智能
动作电位向前迈出了一大步。这是一种电信号，大约10亿年前首次在单细胞生物体内进化出来。后来，多细胞生物进化出一种叫作神经元的特殊细胞，这些细胞利用动作电位在生物体内快速传递信号，速度高达每秒120米（即每小时270英里。1英里≈1.6km）。神经元之间的连接叫作突触。突触连接的强度决定了有多少电刺激从一个神经元传递到另一个神经元。动物通过改变突触连接的强度来学习。学习带来了巨大的进步优势，因为动物可以适应各种环境。学习也加快了进化本身的速度。
最初，神经元形成了神经网络，这些神经网络分布在整个生物体中，用于协调各种活动，如进食和消化，以及肌肉细胞在大范围内的定时收缩。水母之所以能优雅地推进是因为它们拥有神经网络，但水母根本没有大脑。
大脑以及眼睛和耳朵等复杂的感觉器官是后来才出现的。在水母和它们的神经网络出现几亿年后，我们人类带着我们由千亿个(1011)神经元和千万亿个（1015）个突触组成的巨大的大脑来到了这个世界。
我们才刚刚开始了解大脑的一个重要的认知方面 – 奖励系统（reward system）。这是一个由多巴胺介导的内部信号系统，它将积极的和消极的刺激和行为联系起来。
计算机硬件很重要，因为速度更快、内存更大的计算机可以让算法运行得更快处理更多信息。第一台商用电子可编程计算机费伦蒂马克一号 Ferranti Mark I 每秒可执行大约 1000条指令，拥有大约 1000字节的主存储器。截止2019年初，速度最快的计算机是美国田纳西州橡树岭国家实验室的 Summit 超级计算机，Summit每秒执行大约 10^18 条指令 （速度比费伦蒂马克一号快 1000 万亿 倍），拥有 2.5 x 10^17 字节的存储器（比费伦蒂马克一号大 250 万亿 倍）。
虽然拿计算机与大脑比较并不是特别有意义，但是 Summit 中的数字量略微超过了人脑的原始容量，大脑有大约 10^15个突触，大约 0.01 秒的周期时间，理论上每秒最多能完成大约 10^17 次运算。二者最大的不同是功耗，Summit 消耗的电能是大脑的 100 万倍。Google TPU Pod（2018年版）每秒执行大约 10^17 次运算，几乎与 Summit 的计算能力相当，但TPU的功能是后者的 1%， 体积也是后者的 1%。
量子计算则完全不同。它用量子力学波函数的奇异特性来实现一些非同寻常的事情：用两倍数量的量子硬件，你可以完成两倍以上的计算。假设你有一个存储量子比特的微型物理器件。一个量子比特有两种可能的状态：0和1. 在经典物理学中，携带量子比特信息的波函数表示它同时处于两种状态。比如你有两个量子比特，就有4种可能的联合状态：00、01、10、11. 如果波函数在两个量子比特之间相干、纠缠，这意味着没有其它物理过程来扰乱它，那么这两个量子比特则同时处于全部的4中状态。
截止2019年，拥有几十个量子比特的小型量子处理器的实验原型已经投入运行，但是没有什么有趣的计算任务可以让量子处理器的速度比经典计算机的速度更快。主要的困难在于退相干，因为热噪声等过程会破坏多量子比特波函数的相干性。
2.1 影响智能体设计问题的特征至少包括以下几点：
- 环境时完全可观察的（如在国际象棋中，输入提供了对当前环境状态的所有相关方面的信息），还是部分可观察的（如在驾驶中，视野是有限的，车辆是不透明的，其他司机的意图是未知的）。
- 环境和动作是独立的（如国际象棋），还是实际上连续的（如驾驶）。
- 环境中包含其它智能体（如国际象棋和驾驶），还是不包含其它智能体（比如在地图上找最短路线）。
- 环境的规则和物理定律所规定的行动结果是可预测的（如国际象棋），还是不可预测的（如交通和天气），已经这些规则和定律是已知的还是未知的。
- 环境是否在动态变化。
- 时间跨度是长还是短。
3. 人工智能在未来会如何发展？
3.1 无人驾驶汽车
无人驾驶汽车的潜在好处是巨大的。每年，车祸造成全世界120万人死亡，数千万人受重伤。无人驾驶汽车的合理目标是将这些数字降低到现在的10%。
3.2 智能个人助理
早期的智能个人助理缺陷例子。听到 ”Call me an ambulance！“ 给我打电话叫救护车， 之后回答，从现在开始我叫你 ”Ann Ambulance“。
这些早期的系统有三大缺陷：访问缺陷、内容缺陷和语境缺陷。
- 访问缺陷，即它们对正在发生的事情缺乏感官意识，例如，它们可能能够听到用户在说什么，但看不到用户在和谁说话。
- 内容缺陷，即它们根本无法理解用户所说的话或发送的短信的含义，即便它们可以访问这些内容。
- 语境缺陷，即它们缺乏跟踪和推理日常生活的目标、活动和关系的能力。
尽管存在这些缺点，智能音箱和手机助力仍为用户提供了足够的价值，它们进入了数亿人的家中和口袋里。从某种意义上将，它们是人工智能的”特洛伊木马“。因为它们就在你的身边，嵌入几乎每个人的生活中，它们的能力的每一个微小进步都价值数十亿美元。
3.3 更多
- 智能家居和家用机器人
- 全球层面的智能：发展理解语音和文本的基本能力，监听世界上所有的电话，利用另一种超级力量是瞬间看到整个世界
人工智能的成功将催生”一条文明轨迹，实现富有同情心地使用人类被赋予的宇宙资源的文明的进步“。如果我们不能充分利用人工智能的优势，那么我们只能怪自己。
4. 人工智能的滥用
- Stasi 德国用来监控人们的情报机构。《世界人权宣言》第3条：”人人享有生命、自由和人身安全。“
- 致命性自主武器。LAWS： Lethal Autonomous Weapons Systems
- 抢走我们的工作
- 篡夺其他人类角色
保护隐私《欧盟数据保护通用条例》GDPR
5. 有益机器的原则
- 机器的唯一目标是最大限度地实现人类的偏好。
- 机器最初不确定这些偏好是什么。
- 关于人类偏好的最终信息来源于人类行为。
要以以下方式设计的机器：
- 机器会征求许可；
- 当指令不明确时，机器会谨慎行事；
- 而且机器会允许自己被关机。
推荐科幻片
推荐一部科幻片《超验骇客》，描述了超级人工智能的场景。
2014- Transcendence《超验骇客》
近未来，天才科学家威尔·卡斯特（约翰尼·德普 Johnny Depp 饰）开发出最接近人类的人工智能机器人“品（Pin）”，他在收获来自科学界的美誉同时，也遭到无数反对者的诟病与抨击。在某次会议之后，威尔遭到激进组织成员的枪击，虽然当时侥幸逃生，但涂抹了放射性物质的子弹还是慢慢销蚀了威尔的生命。威尔的妻子兼研究伙伴伊芙琳（丽贝卡·豪尔 Rebecca Hall 饰）自然痛不欲生，但她却和丈夫的好友马克斯（保罗·贝坦尼 Paul Bettany 饰）设法，将威尔的意识数据化上传到智能电脑中。奇妙而幸运的是，威尔成功在虚拟世界中复生。
他的天才头脑和先进科技完美融合，只是没人能够想到，这种局面对人类来说究竟是幸运还是灾难……
