继李飞飞、Bengio、何恺明之后买球下单平台，在刚刚的NeurIPS 2024中，Ilya Sutskever最新演讲也来了。

天然时长仅有 15 分钟足下，但践诺依旧看头都备。

举例这一句：

Pre-training as we know it will end.

咱们所熟知的预锤真金不怕火行将闭幕。

而之于异日，Ilya 还瞻望谈：

what comes next is superintelligence: agentic, reasons, understands and is self aware.

接下来将是超等智能：代理、推理、相识和自我坚定。

那么为何会有如斯？咱们通盘来望望完竣演讲。

记忆十年时刻发展

Ilya 先是用一张十年前的 PPT 截图开启了此次演讲，那时间深度学习还处于探索阶段。

在 2014 年的蒙特利尔，他和团队（还有 Oriol Vinyals 和 Quoc Le）初度提议了如今成为 AI 范畴基石的深度学习理念。

Ilya 展示了那时的一张 PPT，揭示了他和团队的中枢职责：自回来模子、大型神经齐集和大数据集的聚会。

在十年前，这些元素并不被鄙俗看作顺利的保证，而今天，它们仍是成为东谈主工智能范畴最贫寒的基础。

举例在谈到深度学习假定时，Ilya 强调了一个贫寒不雅点：

要是有一个 10 层的大型神经齐集，它就能在一秒钟内完成东谈主类能作念的任何事情。

他讲明说，深度学习的中枢假定是东谈主工神经元与生物神经元的相似性。

基于这一假定，要是东谈主类概况在一秒钟内完成某项任务，那么一样的任务，一个锤真金不怕火精良的 10 层神经齐集也能完成。

这一假定激动了深度学习的磋磨，并最终终剖判那时看似骁勇的主张。

Ilya 还先容了自回来模子的中枢念念想：通过锤真金不怕火模子瞻望序列中的下一个 token，当模子瞻望得满盈准确时，它就能捕捉到整个序列的正确辩认。

这一念念想为自后的谈话模子奠定了基础，超过是在天然谈话管制范畴的运用。

天然除了"押对宝"的时刻以外，也有"押错"的。

LSTM（口角期追到齐集）就是其中之一。

Ilya 提到 LSTM 是深度学习磋磨者在 Transformer 之前的主要时刻之一。

尽管 LSTM 在那时为神经齐集提供了坚强的才智，但它的复杂性和局限性也了然于目。

另一个等于并行化（parallelization）。

尽管面前咱们知谈 pipeline 并不是一个好主意，但那时他们通过在每个 GPU 上初始一层齐集，终剖判 3.5 倍的速率进步。

Ilya 以为，限制假定（scaling hypothesis）是深度学习顺利的时弊。

这一假定标明，要是你有一个十分大的数据集，并锤真金不怕火一个满盈大的神经齐集，那么顺利险些是不错意料的。

这个不雅点仍是成为今天深度学习范畴的中枢规章。

Ilya 进一步禀报了联接主义的念念想，以为东谈主工神经元与生物神经元之间的相似性给了咱们信心，以为即使不完全师法东谈主脑的结构，雄壮的神经齐集也能完成与东谈主类相似的任务。

预锤真金不怕火时间行将收尾

基于上述时刻的发展，也让咱们迎来了预锤真金不怕火的时间。

预锤真金不怕火是激动悉数最初的能源，包括大型神经齐集和大限制数据集。

但 Ilya 接下来瞻望说：

天然计较才智在不休增长，硬件和算法的最初使得神经齐集的锤真金不怕火后果获得了进步，但数据的增长却已接近瓶颈。

他以为，数据是 AI 的化石燃料，跟着环球数据的驱散，异日东谈主工智能将濒临数据瓶颈。

天然现时咱们仍然不错使用现存数据进行有用锤真金不怕火，但 Ilya 以为这一增长趋势终将放缓，预锤真金不怕火的时间也会缓缓收尾。

超等智能将是异日

在谈到异日的发展标的时，Ilya 提到了" Agent "和"合成数据"的宗旨。

很多人人都在盘考这些话题，以为 Agent 系统和合成数据将是险阻预锤真金不怕火瓶颈的时弊。

Agent 系统指的是概况自主推理和方案的东谈主工智能，而合成数据则不错通过模拟环境创造新的数据，弥补现实寰球数据的不及。

Ilya 还援用了一个生物学上的例子，展示了哺乳动物肉体与大脑大小的联系，浮现不同生物可能通过不同的"限制规章"进化出不同的智能发扬。

这一念念想为深度学习范畴的进一步彭胀提供了启示，标明东谈主工智能也许不错通过不同的方式险阻面前的限制驱散。

Ilya 临了谈到了超等智能的出息。

他指出，天然现时的谈话模子和 AI 系统在某些任务上发扬出超东谈主类的才智，但它们在推理时仍显得不结实和不可瞻望。

推理越多，系统变得越不可瞻望，这少许在一些复杂任务中发扬得尤为凸起。

他还提到：

面前的 AI 系统还不成果真相识和推理，天然它们能模拟东谈主类的直观，但异日的 AI 将会在推理和方案方面展现出愈加不可瞻望的才智。

Ilya 进一步料想，异日的 AI 将不单是是实施任务的用具，而会发展成" Agent "，概况自主进行推理和方案，以至可能具备某种面容的自我坚定。

这将是一个质的飞跃，AI 将不再是东谈主类的蔓延，而是一个具有寥寂智能的存在。

参考连气儿：

https://x.com/vincentweisser/status/1867719020444889118

—  完  —

点这里� � 存眷我，记起标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日重逢 ~