读AI新生：破解人机共存密码笔记07概念和理论

1.全球层面的智能

1.1.仅仅为了阅读完当前世界上所有的出版物（更不用说过去所有的书面材料）就需要20万名全职人员，收听当前的广播则还需要6万名全职人员

1.1.1.监听世界上所有的电话也是可能的（这项工作需要大约2000万人）

1.2.这样一个系统，如果它能提取简单的事实性陈述，并能跨所有语言整合所有这些信息，那么它就会成为令人难以置信的回答问题和揭示模式的资源，可能比目前价值约1万亿美元的搜索引擎还强大得多

1.2.1.它对历史学和社会学等领域的研究价值将是不可估量的

1.3.机器可以利用的另一种“超级力量”是瞬间看到整个世界

1.3.1.卫星每天以每像素约50厘米的平均分辨率拍摄整个世界

1.3.2.计算机视觉算法可以处理所有这些数据，生成一个每天更新的可搜索的全球数据库，还能生成经济活动、植被变化、动物迁徙和人口流动、气候变化影响等的可视化和可预测模型

1.3.3.像Planet（星球）和DigitalGlobe（数字地球）这样的卫星公司正忙着把这一想法变成现实

1.4.随着全球层面的感知成为可能，全球层面的决策也在成为可能

1.4.1.“智慧城市”控制系统

1.4.1.1.它旨在优化交通管理、运输、垃圾收集、道路维修、环境保护和其他造福市民的功能，这些可能会拓展到国家层面

1.5.随之而来的可能是全球范围内的隐私侵犯和社会控制

2.超级人工智能何时到来

2.1.历史上预测出错的情况经常出现

2.2.超级人工智能将要跨越的门槛并不明确

2.2.1.机器在某些领域已经超越了人类的能力

2.3.超级人工智能何时到来在本质上是不可预测的

2.3.1.卢瑟福宣布链式核反应完全不可能的几个小时后，西拉德就发明了链式核反应一样不可预测

2.4.大多数活跃的研究人员预计人类水平的人工智能将在21世纪中叶到来

2.5.现在和超级人工智能之间还隔着好几个重大突破，而不仅仅是一个

2.5.1.解决这一问题不能靠把钱花在更多的工程师、更多的数据和更强大的计算机上

2.6.一些未来学家根据摩尔定律绘制图表，预测了未来计算能力的指数级增长，展示出机器将超越昆虫大脑、老鼠大脑、人类大脑，以及所有人类大脑的日期等

2.6.1.速度更快的机器只会更快地给出错误的答案

2.7.如果将人工智能领域的领先专家聚集到一个拥有无限资源的团队中，目标是通过整合我们所有最好的想法来创建一个集成的、人类级别的智能系统，那么结果必将是失败

2.7.1.这个系统会在现实世界中崩溃

2.7.2.它不明白发生了什么，无法预测其行为的后果，无法理解人们在任意特定情况下想要什么，因此它会做蠢事

3.语言和常识

3.1.没有知识的智能就像没有燃料的发动机

3.1.1.人类从他人那里获得了大量的知识，知识以语言的形式代代相传

3.2.大量的知识存在于语言本身，存在于它所提供的概念之中

3.3.一台真正理解人类语言的机器将能够迅速获取大量的人类知识，从而绕过在地球上生活过的1000多亿人在几万年之中的学习过程

3.3.1.期待一台机器从原始的感官数据开始，从头开始重新发现这一切似乎是不切实际的

3.3.2.自然语言技术还不能胜任阅读和理解数百万本书的任务，其中许多书甚至会难倒一个受过良好教育的人

3.4.阅读需要知识，而知识（在很大程度上）来自阅读

3.5.希望采用自助算法让系统读取一些简单的文本，获得一些知识，然后使用这些知识来读取更复杂的文本，获得更多的知识等

3.5.1.发生的情况通常恰恰相反：系统所获得的知识大多是错误的，这会导致阅读错误，从而导致更多的错误知识等

3.6.NELL

3.6.1.Never-Ending Language Learning，无止境语言学习

3.6.2.卡内基–梅隆大学的“NELL”项目可能是目前正在进行的最雄心勃勃的采用自助算法的语言项目

3.6.3.NELL仅对其3%的知识点有信心，它还要依靠人类专家定期清除错误或无意义的知识点

3.6.3.1.它认为“尼泊尔是一个国家，也被称为美国”和“价值是一种农产品，通常被分割成基础”

3.7.单一的突破不可能将恶性循环变成良性循环

3.8.一个知道足够多事实的程序可以找出一个新句子所指的事实，从而学习一种新的表达事实的文本形式，然后让它发现更多事实，因此这个过程会继续下去

4.概念和理论的累积学习

4.1.成千上万的人在数百年的观察和研究中积累和交流了知识与概念

4.2.从米利都的泰勒斯用羊毛摩擦琥珀并观察静电荷的积累，到伽利略从比萨斜塔投下小球，再到牛顿看到苹果从树上落下，经过成千上万次的观察，人类逐渐积累了一层又一层的概念、理论和装置

4.2.1.质量

4.2.2.速度

4.2.3.速度

4.2.4.力

4.2.5.牛顿运动定律和万有引力定律

4.2.6.轨迹方程

4.2.7.电现象

4.2.8.原子

4.2.9.电子

4.2.10.电场

4.2.11.磁场

4.2.12.电磁波

4.2.13.狭义相对论

4.2.14.广义相对论

4.2.15.量子力学

4.2.16.半导体

4.2.17.激光

4.2.18.计算机

4.3.物理学的先验知识，加上仪器的观测数据，使得科学家能够推断黑洞融合事件的发生

4.3.1.这种先验知识本身就是用先验知识进行学习的结果，以此类推，一直可以追溯到遥远的历史

4.4.累积下来的图景就是实际发生的事情，也就是说，科学家一直在书和论文中写下他们的发现和理论

4.4.1.后来的科学家只能接触这些形式的显性知识，而无法接触更早的、早已过世的几代人的原始感官体验

4.5.深度学习系统主要是数据驱动的，我们充其量只能在网络结构中“连接”一些非常弱的先验知识形式

4.6.纯数据驱动的学习观

4.6.1.输入的是数据，输出的是假设，中间是黑盒子

4.6.2.如果人们能够做到这一点，那将是“大数据、大网络”深度学习方法的典范，但这是不可能做到的

4.7.概率编程系统的确允许在学习过程中加入先验知识，正如概率知识库的结构和词汇表所表达的那样，但我们还没有有效的方法来生成新的概念和关系，并使用它们来拓展这类知识库

4.8.主智能体进行学习所需要的

4.8.1.进行预测所需要的“数据”应该包括什么？

4.8.1.1.因为我们人类已经对引力波、交通、视觉图像和古董有所了解

4.8.1.2.所谓的“特征工程”，要做好这一点，我们需要对特定的预测问题有很好的理解

4.8.1.3.真正的智能机器需要学习新知识时，不能依赖于每次都有人类特征工程师

4.8.1.4.它必须自己找出，是什么构成了这个问题的合理假设空间

4.8.2.新概念的累积生成

4.8.2.1.如质量、加速度、电荷、电子和引力等

4.8.2.2.事实上，一切科学发现都依赖于一层又一层的概念，这些概念可以追溯至历史和人类经验

4.8.2.3.在科学哲学中，特别是在20世纪初，新概念的发现经常归因于三个妙不可言的“I”

4.8.2.3.1.直觉（intuition）

4.8.2.3.2.洞察力（insight）

4.8.2.3.3.灵感（inspiration）

4.8.2.3.4.所有这些都被认为是对一切理性或算法解释的抵触

4.8.2.4.如果机器学习算法能够在假设空间中进行搜索，可以为输入中不存在的新术语添加定义，那么该算法就可以发现新概念

4.8.2.5.我们知道如何在相对简单的情况下做到这一点，但是对更复杂的理论而言，引入的新概念的数量可能变得非常庞大

4.8.2.6.即使深度网络使用的是非常简单的学习算法，深度网络通常能够成功地找到有用的中间特征

4.8.2.6.1.比如眼睛、腿、条纹和拐角