图灵奖获得者Bengio和Lecun：自我监督学习可以使AI达到人类的智

图片来源@全景视觉

文章学术标题

文章学术标题

在2020年ICLR在线会议上，Yann 蒙特利尔学习算法研究所所长，图灵奖获得者yoshua bengio和Facebook Lecun的副总裁兼首席AI科学家坦率地谈论了AI的未来研究趋势。 按照这两个大家伙的说法，自我监督学习可以使AI产生像人一样的推理能力。 与有意识地观察世界的人一样，

自我监督学习需要在标记数据集上进行AI模型训练。 勒村认为，随着自我监督学习的广泛应用，这种培训模式的作用将逐渐减弱。 自我监督学习算法不再依赖标签，而是通过揭示数据各部分之间的关??系从数据生成标签。

自我监督学习是机器学习的“理想状态”，其重点是如何自动生成数据标签。 该步骤被认为对实现人类智能至关重要。 例如，输入图像，将图像随机旋转一个角度，然后输入旋转的图像作为输入，并随机旋转该角度作为标签。

很多网友更关心的一个问题是，自我监督学习和无监督学习是什么意思？

自我监督学习类似于无监督学习，即从没有明确标签的数据中学习。 但是，无监督学习侧重于学习数据的内部关系和结构，例如聚类，分组，密度估计或异常检测等，而自我监控则根据数据集本身生成标签。 为了进一步解释自我调节学习，勒村做了一个比喻：“无论是人类还是动物，在学习大多数事物时，我们都处于自我监控的模式，而不是强化学习模式。从本质上讲，这种模式是为了 观察世界，然后不断增强与世界的互动，这种观察是自发的，而不是在测试条件下完成的。“这种学习方式更难用机器来复制。” Lecun说。在

中，不确定性是主要障碍

连续分布和离散分布

数据的分布就是这样的表，它将变量的所有可能值与其出现的可能性联系在一起，当变量是离散的时，它们很好地表示了不确定性， 这就是为什么像Google Bert这样的架构如此成功的原因，但是目前，研究人员还没有找到有效表示连续变量分布的方法。 2

在Stanford对话问答和数据集上进行了测试，Bert达到93.2％的准确性，分别优于最先进的机器学习水平和人类水平。 斯坦福问答集是一个阅读理解数据集，其中包含一组维基百科文章中提出的问题。 在一般语言理解评估基准（用于训练和评估NLP系统的一组资源）中，Bert的准确性为80.4％。

解决了连续分布的问题。

Lecun认为，如果我们找到一个可以表示连续分布的模型，那么将会有一个新的突破。

Lecun指出，解决连续分布问题的一种方法是使用基于能量的模型（EBM），该模型可以学习数据集中的数学元素并生成相似的数据集。 在之前的

中，openai开发了一个基于能量的模型，该模型可以快速学习识别并生成概念，例如附近，上，中，最近和最远，并将其表示为2D点集。 该模型仅在五次演示后才了解这些概念。

来自过去的研究，这种形式的建模很难应用于实践，但是2019年开放式AI的研究表明，这种基于能量的模型可以支持复杂的拓扑。 本吉奥在讨论中说，他相信人工智能研究可以从神经科学领域受益匪浅，尤其是对意识和意识加工的探索。 当然，好处是双向的。 一些神经科学家正在使用卷积神经网络作为视觉系统的腹侧通路。 Bengio

预测，这项新研究将阐明高级语义变量与大脑如何处理信息（包括视觉信息）之间的关系。 这些变量用于人类语言交流中，它们可能会导致新一代的深度学习模型。

“通过与基础语言学习相结合，我们可以取得很多进步。归根结底，我们都在构建可以理解世界以及高级概念如何相互关联的模型。这是一种共同的分布，” Bengio说 。 “我相信人类意识的过程是基于关于世界如何变化的假设的，可以将其理解为更高层次的表达。总之，我们看到世界的变化，然后提出一个句子来解释世界的变化。 “

实现人类智能的另一个问题：背景知识

想实现人类智能，另一个大问题是背景知识。 正如Lecun解释的那样，大多数人可以在30小时内学会驾驶汽车，因为他们已经建立了汽车凭直觉行事的物理模型。 相比之下，无人驾驶汽车所使用的强化学习模型现在是从零开始的，它们必须犯下数千个错误才能进行正确的操作。 “显然，我们需要能够建立模型来学习世界，这就是自我监控学习的原因-运行预测性世界模型，这使系统能够更快地学习，”

lecun说道。 从概念上讲，这很简单，除了在不确定的环境中我们无法完全预测。 根据

LeCun的说法，即使在自律式学习和神经科学学习的支持下，实现通用人工智能（AGI）还远远不够。

通用人工智能（AGI）是指机器获得人类水平的智能。 一些研究人员将通用人工智能称为强大的AI或完全AI，或者机器具有执行通用智能动作的能力。 他说，这是因为智力，特别是人类的智力非常特殊。 “ AgI不存在。根本没有通用人工智能。我们可以谈论鼠标智能，猫智能，狗智能或人类智能，但是我们根本不能谈论通用人工智能。” Lecun说。

，但bengio相信这台机器最终将获得有关世界的各种知识。 这个过程不需要机器来体验，而是通过获取可以被语言化的知识来进行。 他说：“与其他动物相比，这对人类来说也是一个巨大的优势。” “我认为人类很聪明，因为我们拥有自己的文化，可以解决世界上的问题。要使AI在现实世界中发挥作用，我们不仅需要能够翻译的机器，还需要能够真正理解自然语言的机器。 “

自我监督学习是AI未来

自我监督学习背后的核心思想。 它将开发一个深度学习系统，该系统可通过学习来填补AI的未知领域。

lecun在今年4月的AAAI会议上的讲话中曾说：“我认为自我监督学习是AI的未来。这将使我们的AI系统和深度学习系统达到更高的水平。也许AI可以获取有关以下方面的足够的背景知识：

自我监督学习的主要好处之一是AI可以主动输出大量信息。 在强化学习中，训练AI系统是在标量级别实施的，该模型将获得对其行为的奖励或惩罚值。 在监督学习中，AI系统会为每个输入结果预测类别或值。

在自我监控学习中，输出结果将涉及整个图像或一组图像。 “自我监控学习的输出信息非常大。对于AI要学习相同数量的世界知识而言，自我监督学习需要更少的样本。” Lecun说。

我们必须弄清楚不确定性是如何工作的，当我们找到解决方案时，我们将为AI的未来解锁关键。

Lecun说：“如果人工智能是蛋糕，那么自我监督学习就是最大的难题。”

参考链接：

https：//venturebeat.com/2020/05/02/yan-lecun-and-yoshua- 贝尼奥自我监督学习是人类水平智力/

的更多亮点，请注意钛微信号（ID：taimeiti）或下载钛媒体应用程序