155157（1 / 2）

2023年，产业界发布了51个值得关注的机器学习模型，而学术界仅贡献了15个。缺乏算力的学术界在当下人工智能的发展上仍然处于劣势，推动了相关人才从学术届向产业界转移。2019年，美国和加拿大新增加的人工智能领域教师有13%来自产业界。到2021年，这一数字已下降至11%，2022年进一步下降至7%。

仅去年一年，美国人工智能相关法规数达到了25个，而10年前的16年则仅仅只有1个。

全球各国的法律法规提及人工智能的次数从22年的1247次增加到23年的2175次，几乎翻了一番。

18年图灵奖得主约书亚·本吉奥YoshuaBengio，1964年3月5日出生于法国巴黎，英国皇家学会院士，蒙特利尔大学教授，ElementAI联合创始人

在专访时就曾经表示：

“他不想把大模型未来押注在ScalingLaw上，AGI路上要“注意安全”

他可以说是这个世界上最早一批注意到ai深度学习的科学家了。

在NeurIPS2000上，他发表了一篇关于使用神经网络构建语言模型的论文。

这是大语言模型的前身，只不过规模更小，使用的语料库也更小，并且没有用到Transformer中的注意力机制。

在06年的前后，深度学习复兴浪潮逐渐兴起。

在NeurIPS2007上，他发表了深度学习领域的经典论文《GreedyLayer-WiseTrainingofDeepNetworks》并做了现场的学术报告。

在这篇论文中，他展示了他们团队首次找到了训练深层网络的方法，并且展示了如何使用多层神经网络获得更好的泛化效果。

在此之前，其领域内普遍认为深层网络可能有用，但不知道如何训练，传统的训练方法并不奏效。

14年，本吉奥团队受到了人类认知机制的启发，在论文《NeuralMachineTranslationbyJointlyLearningtoAlignandTranslate》中首次将注意力机制应用于自然语言处理领域，大大提升了机器翻译的性能。这篇发表在ICLR2015上的论文引起了行业热议，启发了后续的一系列语言大模型研究。

就在论文发表的一年后，谷歌旋即在16年将这项技术应用于谷歌翻译中，这种大规模应用是学术界无法做到的，同时也看到了这项技术在规模效应下的影响。

谷歌翻译在16年取得的革命性的进步，得益于注意力机制带来的革命性改进。

到了17年，Transformer就正式提出，其基本架构是多层注意力机制的层层叠加，这项技术催生了现代大语言模型现代架构。

旋即，次年，他被图灵奖提名委员会认可，18年的图灵奖授予GeoffreyHinton、YannLeCun和他。

谈到如今ScalingLaw催生的模型性能大爆发，Bengio其依然保持着客观审慎的思考，他认为“ScalingLaw”并不是理论定律，只是基于经验性观察总结的规律。

为了解决大模型目前存在的问题，我们需要探索ScalingLaw之外的新方法。

在OpenAI等巨头纷纷为AGI的到来摩拳擦掌之时，Bengio更关心的是如何应对AI对人类的潜在风险。

正如核裂变所带来的巨大威力一样，AI引发的人类安全危机甚至比核武器更为沉重。

发表于1942年的短篇小说《环舞》(Runaround)中，阿西莫夫第一次提出“机器人三定律”，以避免人类被自己创造出的机器伤害，该作品对机器人和人工智能领域的科学家产生了深远影响。

Bengio坦言，假如有机会回到年轻时，会提醒当时的自己注意AI所带来的风险。

在19年的第7届海德堡桂冠论坛（HeidelbergLaureateForum，HLF）中，YoshuaBengio发表题为“面向人工智能的深度学习(DeepLearningforAI)”的演讲，演讲中围绕维数灾难(CurseofDimensionality)问题展开探讨。

其实，在注意力机制、Transformer等相关技术出现之前，神经网络经历了一场大的寒冬，几乎所有人都对神经网络失去信心，

在2000年代，当时的学术界对神经网络已经不抱希望了。

专业期刊审稿人经常抱怨：“为什么你们还提交神经网络的论文？这个方向已经被淘汰了。”

不过，现在的情况与当时审稿人的看法大相径庭。现在，神经网络已经成为人工智能的主流方法。