【小哈划重点:霍普菲尔德网络使用能量函数,玻尔兹曼机使用统计物理学的思想。因此,神经网络发展的那个阶段确实在很大程度上依赖于物理学的想法。但用于构建今天使用的AI模型的实际上是一种不同的技术,称为反向传播(Back Propagation),这与物理学关系不大。】
10月9日消息,昨天,诺贝尔物理学奖授予了推动人工神经网络发展的约翰·J·霍普菲尔德(John J. Hopfield)和杰弗里·E·辛顿(Geoffrey E. Hinton)。诺奖罕见地颁给了AI专家,作为图灵奖得主、“深度学习之父”的辛顿本人也表示大吃一惊。
就在今天,辛顿前东家谷歌为其举办了庆功宴,谷歌CEO桑达尔·皮查伊(Sundar Pichai)、谷歌首席科学家杰夫·迪恩(Jeff Denn)、OpenAI前联合创始人伊尔亚·苏茨克维(Ilya Sutskeve)等AI圈大佬悉数到场。实属罕见,一个诺贝尔物理学奖的庆功宴竟然不见物理学大牛。
▲部分参与庆功宴人士合影(左四为杰弗里·辛顿,右一为伊尔亚·苏茨克维)(图源X)
辛顿如何看待这次获奖?为什么诺贝尔物理学奖颁给了AI专家?这又将对未来AI发展有什么影响?
诺贝尔物理学奖公布不久,辛顿接受了《纽约时报》、瑞典电视台、每日新闻、瑞典电视频道TV4、瑞典报纸等多家媒体以及多伦多大学新闻发布会的采访,针对上述问题进行了回应。
对于惊讶自己获得诺奖的原因,辛顿提到,神经网络发展的前期阶段很大程度上依赖于物理学的想法,他研发的玻尔兹曼机就是在早期阶段帮助AI研究克服了“训练深度神经网络”的障碍。但“最近(AI)这项工作与物理学的关系较少”。
辛顿目前最常用的AI工具是GPT-4,但他不会完全信任它。伴随着AI的发展,他认为在未来20年的某个时候,AI将比人类更聪明。同时辛顿也看好机器人技术的发展前景,“让AI能够熟练地操纵事物,目前我们在这方面比计算机或人工神经网络好得多”。
他还呼吁加强对AI安全以及由好奇心驱使的基础研究的支持。辛顿称,他已经76岁,不会再进行前沿研究,将花时间倡导人们从事安全工作。他还特别自豪:“我的一个学生解雇了Sam Altman。”他认为:“OpenAI CEO萨姆·阿尔特曼(Sam Altman)现在更关心利润,而不是安全,我认为这很不幸。”
关于诺奖奖金的使用,辛顿说要将其全部捐给慈善机构,他将获得550万瑞典克朗(折合约375万人民币)。
该奖项授予了霍普菲尔德于20世纪80年代初开发的一种名为霍普菲尔德网络的技术,以及随后几年由辛顿协助开发的一种名为玻尔兹曼机的相关技术。这也使辛顿成为历史上首个同时获得“计算机界的诺贝尔奖”图灵奖和诺贝尔物理学奖的科学家。(诺贝尔物理学奖罕见一幕!“AI教父”意外获奖,物理圈傻眼)
上述采访累计超过40分钟,智东西在不改变原意的情况下进行了整理编辑。
一、今天AI模型与物理关系不大,玻尔兹曼机的作用像“酶”
在得知辛顿博士获得诺贝尔物理学奖后不久,《纽约时报》通过电话联系到了他。
《纽约时报》:当您听到今天早上的新闻时,您的反应是什么?
辛顿:我非常震惊,我从来没有想到过这一点。
《纽约时报》:神经网络是计算机技术,这与物理学有何关系?
辛顿:霍普菲尔德网络及其进一步发展的玻尔兹曼机是基于物理学的。霍普菲尔德网络使用能量函数,玻尔兹曼机使用统计物理学的思想。因此,神经网络发展的那个阶段确实在很大程度上依赖于物理学的想法。
但用于构建今天使用的AI模型的实际上是一种不同的技术,称为反向传播(Back Propagation),这与物理学关系不大。
《纽约时报》:玻尔兹曼机和反向传播之间有什么关系?
辛顿:现在没有太多联系,它们是我们如何让神经网络运行的两种替代理论。早期,我使用玻尔兹曼机“预训练”反向传播网络来设法将它们结合起来。但现在人们不这样做了。
《纽约时报》:预训练是什么意思?您能用读者能够理解的语言进行解释吗?
辛顿:我想起了物理学家理查德·费曼获得诺贝尔奖时所说的话。一位记者问他:“费曼教授,您能用几分钟解释一下您为何获得诺贝尔奖吗?”费曼回答道:“听着,伙计,如果我能在几分钟内解释清楚,那就不值得获得诺贝尔奖了。”
《纽约时报》:可以肯定地说,玻尔兹曼机器对于AI研究来说是一条死胡同,研究去了其他地方吗?
辛顿:我认为这个想法就像一种酶,酶可以帮助人跨越障碍——即使它不是最终解决方案的一部分。玻尔兹曼机就像一种酶,它让我们克服了“如何训练深度神经网络?”的障碍。这使得训练他们变得更容易。一旦我们学会了如何做到这一点,我们就不再需要玻尔兹曼机了。
《纽约时报》:您是否直接与约翰·霍普菲尔德就这些想法进行过合作?
辛顿:不,我读过他的论文。但我的主要合作者之一特里·塞诺夫斯基(Terry Sejnowski)与霍普菲尔德一起工作并获得了博士学位。
《纽约时报》:您获得这个物理学奖是不是很奇怪?
辛顿:如果计算机科学有诺贝尔奖,我们的工作显然会更合适,但没有。
《纽约时报》:这是一个很好的表达方式。
辛顿:这也是一种暗示。
《纽约时报》:是的,也许我们需要计算机科学领域的诺贝尔奖。无论如何,你因帮助创造了一项你现在担心会给人类带来严重危险的技术而获得了诺贝尔奖。你对此有何感想?
辛顿:获得诺贝尔奖可能意味着人们会更认真地对待我。
《纽约时报》:当您警告未来的危险时,会更加认真地对待您吗?
辛顿:是的。
二、经常使用GPT-4,接到获奖电话取消核磁共振扫描
诺贝尔物理学奖宣布时,辛顿接受了几家媒体的线上采访。
主持人:早上好,辛顿教授。请接受我们对您获得诺贝尔物理学奖的最热烈祝贺。你现在感觉怎么样?
辛顿:非常感谢。我惊呆了,我没想到会发生这种事。
▲Hinton在诺贝尔物理学奖颁布时线上接受媒体采访
瑞典电视台:您还记得您意识到自己取得突破时的情景吗?这些发现的缘由或灵感是什么?
辛顿:我记得与我的两位导师有过几次合作,因此我非常感谢大卫·格拉梅尔哈特(David Rommelhart)和特里·萨诺夫斯基(Terry Sanofsky)。在格拉梅尔哈特的帮助下,我们重新发现了反向传播算法,那是在1982年初。在萨诺夫斯基的帮助下,他和我发现了一种用于具有隐藏单元的霍普菲尔德网络的学习算法。我记得很清楚,我们参加了在罗切斯特举行的一次会议,霍普菲尔德发表了演讲,我第一次了解到神经网络的霍普菲尔德能量函数。
之后,萨诺夫斯基和我开始研究如何将神经网络推广到具有隐藏单元的霍普菲尔德网络。1982年初,我们成功提出了一种适用于具有隐藏单元的霍普菲尔德网络的学习算法。所以对于我而言,最激动人心的时刻就是与格拉梅尔哈特一起研究反向传播算法,与萨诺夫斯基一起研究玻尔兹曼机。
波兰电视台:神经网络和机器学习未来能做什么?您如何预测这项技术将对我们的文明产生多大的影响?
辛顿:我认为它将产生巨大的影响。它将与工业革命相媲美,但不会在体力上超越人类,而是在智力上超越人类。我们还没有体验过拥有比我们更聪明的东西会是什么样子。
在许多方面,AI都大有裨益。在医疗保健等领域,AI将为我们提供更好的医疗保健服务。在几乎所有行业,AI都将提高工作效率。人们将能够在更短的时间内利用AI助手完成相同的工作量。这意味着生产力将大幅提高,但我们也必须担心一些可能的不良后果,尤其是这些事情失控的威胁。
《每日新闻》:去年你在接受《纽约时报》采访时说,你对部分工作感到后悔,因为AI存在风险。你现在对此有何感想?
辛顿:后悔有两种意思。后悔是因为你做了一些明知不该做的事,所以感到内疚。还有一种后悔是因为你做了一些事,如果在同样的情形下,你会再做,但结果可能并不好。我有第二种后悔。如果在同样的情形下,我会再做同样的事。但我担心,这种情况的总体后果可能是比我们更聪明的系统最终会掌控一切。
瑞典电视频道TV4:我想知道玻尔兹曼机会产生什么类型的AI?你研究什么样的人工智能?
辛顿:我参与了两种不同的学习算法,一种是玻尔兹曼机,这是一种带有隐藏单元的霍普菲尔德网络的学习算法。我们最终找到了一个实用的版本,但这并不是目前神经网络取得主要进展的原因。另一种是反向传播算法,这是一种让神经网络学习任何东西的方法。反向传播算法带来了AI应用的激增,以及识别图像、理解语音和处理自然语言的能力。这不是玻尔兹曼机做的,而是反向传播算法。
瑞典报纸:你有最喜欢的AI工具吗?
辛顿:我实际上经常使用GPT-4。每当我想知道任何事情的答案时,我都会去问GPT-4。我并不完全信任它,因为它会产生幻觉,几乎所有事情上它都不是很好的专家,但这非常有用。
半岛电视台英语频道:你接到诺奖电话时在哪里?它对你有什么影响?
辛顿:我在加州一家廉价酒店,没有互联网连接,电话信号也不太好。我本来今天要做核磁共振扫描,但我想我得取消了。
三、支持伊利亚离开OpenAI,阿尔特曼更关心利润
今天,多伦多大学还在线上举办了表彰和庆祝2024年诺贝尔物理学奖获得者杰弗里·辛顿的活动。
辛顿在多伦多大学度过了大约三十年的出色学术生涯,其多学科研究项目不仅与AI和机器学习相关,还与物理学、认知心理学、神经生物学、数学优化和信息论相关。
表彰活动上,辛顿首先提及了一起进行研究的两位导师和许多学生,并自豪地称:“我的一个学生解雇了Sam Altman”。
问题:现在加拿大的研究格局与刚开始时有何不同?今天在加拿大取得更多研究突破的最大瓶颈是什么?
辛顿:一个很大的区别是,人们现在认识到神经网络实际上是有效的,但大部分情况是相似的,加拿大有名为加拿大高级研究所的实力雄厚的组织, 这对进行研究的人们有很大帮助。我认为加拿大的主要问题是做研究没有美国那么多资金,但它使用资金的方式相当明智,特别是此类研究的主要资助委员会,他们将资金用于好奇心驱动的研究以及所有先进的神经网络研究,不是为了在应用问题上投入金钱,而是为了让科学家跟随他们的好奇心去尝试和理解事物,加拿大在这方面非常擅长。
问题:你此前警告了不受控制的人工智能的危险,并且我们对它现在的工作原理了解不够,我们如何避免灾难?
辛顿:我们目前不知道如何避免这一切,这就是为什么我们迫切需要更多的研究,所以我提倡最优秀的年轻研究人员应该致力于人工智能安全,政府应该迫使大公司提供相应的计算设施。
问题:你能详细说明一下你对人工智能的担忧吗?你是否相信它可能会变得比人类更聪明?你为什么相信这会发生以及多快会发生?
辛顿:我认识的大多数顶尖研究人员都相信AI将变得比人类更聪明。对于这一预期的时间维度有所不同,很多人相信这将在未来20年的某个时候发生,有些人相信这会发生得更快,有些人认为这需要更长的时间,但相当多的人相信,在未来20年的某个时候,AI将比我们更聪明,我们需要认真思考会发生什么。
问题:当你刚得知自己获奖时,你第一个打给了谁?她的反应是什么?
辛顿:我的姐姐,她在澳大利亚。她说:“我的天。”
问题:今天早上得知诺贝尔奖得主的消息时,你感到大吃一惊,这一天你过得怎么样?
辛顿:我睡得很少,当时是加利福尼亚州的凌晨1点,电话接通时,我已经睡了大约一个小时,挂了电话后,我可能又睡了大约一个小时,所以我现在睡眠不足。并且有很多人试图联系我,还收到了很多年前老朋友的留言。
问题:当你得知这个奖项时你用了“大吃一惊”这个词,为什么你这么惊讶?
辛顿:我完全不知道我被提名了,我不是物理学家。所以获得物理学奖对我来说非常令人惊讶, 我很高兴诺贝尔委员会认识到人工神经网络领域取得的巨大进步。霍普菲尔德的工作与物理学密切相关,我和特里· 辛诺夫斯基在玻尔兹曼机上所做的一些早期工作受到了统计物理学的启发,但最近这项工作与物理学的关系较少, 所以我很惊讶。
问题:你能否详细说明之前在电话会议上关于萨姆· 阿尔特曼(Sam Altman)的评论?
辛顿:OpenAI建立之初非常强调安全性,主要目标是开发通用人工智能并确保它是安全的,随着时间的推移,事实证明,阿尔特曼更关心利润,而不是安全,我认为这很不幸。
问题:你如何看待人工智能的不确定未来以及如何更好地了解其潜在机遇和风险?政府会考虑介入吗?为了更严格地监管人工智能,政府如何更好地支持人工智能研究?
辛顿:我认为政府可以鼓励大公司在安全研究上花费更多的资源,目前几乎所有的资源都用于使模型更好,并且正在进行一场激烈的竞争。一方面,模型变得越来越好,但我们需要在AI安全方面做出类似的努力,这部分努力需要超过1%,可能需要三分之一。
问题:关于诺贝尔奖金有哪些计划?
辛顿:我没有具体计划,打算把它捐给慈善机构,我会捐一些给神经多样性年轻人(孤独症或阿斯伯格)提供工作,我会再捐给其他一些慈善机构。
问题:尽管很难预测会发生什么,但如果你必须在一些粗略的关注领域进行冒险,那会是什么?
辛顿:AI有很多不同的风险 ,他们都有不同的解决方案,直接的风险是诸如虚假视频破坏选举之类的事情,我们已经看到了政客要么指责其他人使用虚假视频,要么自己使用虚假视频和虚假图像,这是一个迫在眉睫的危险;网络攻击等事件也会带来非常直接的危险,例如去年钓鱼攻击的数量增加了1200%,因为大型语言模型使得钓鱼攻击变得非常容易,而且你无法再通过拼写错误和语法奇怪的事实来识别它们。
问题:人工智能领域令人兴奋的下一个前沿技术是什么?
辛顿:我已经76岁了,我不会做更多的前沿研究,我会花时间倡导人们从事安全工作。我认为机器人技术中有非常令人兴奋的前景,让AI能够熟练地操纵事物,目前我们在这方面比计算机或人工神经网络好得多。我也认为大型语言模型在推理方面会变得更好, OpenAI和谷歌的最新模型在推理方面变得更好。
问题:我们很好奇在今天的新闻发布会上,还有什么我们没有提到您想提及的问题?
辛顿:我们简单提到了一件事,那就是好奇心驱动的基础研究的作用,所以人工神经网络的基础工作都是由大学研究人员完成的, 研究人员只是追随他们的好奇心并资助这种研究非常重要,它不像其他类型的研究那么昂贵, 但是它为后来非常昂贵并且涉及大量 技术的事情奠定了基础。
结语:机器学习、物理学研究相辅相成
尽管人工神经网络是以生物神经网络为模型的,但今年的两位诺贝尔物理学奖获得者的工作都借鉴了统计物理学,利用物理学训练人工神经网络,为当今强大的机器学习奠定了基础。
此次诺贝尔物理学奖的颁布表明物理学理念正在推动深度学习革命的兴起。如今,深度学习开始回报物理学,它能够准确、快速地模拟从分子和材料到整个地球气候的各种系统。通过将诺贝尔物理学奖授予霍普菲尔德和辛顿,也表明了诺贝尔奖委员会对人类利用这些进步来促进人类福祉和建立可持续发展的世界的期望。
与此同时,正如辛顿所言,此次获得诺贝尔物理学奖也在一定程度上,能使整个AI行业未来更重视他对AI风险的观点。
来源:纽约时报、诺贝尔奖委员会、多伦多大学
编辑 | 程茜 编辑 | 李水青
(原文标题:《AI教父Hinton获诺奖后:谷歌CEO办庆功宴,奖金计划捐出,还Diss了一把阿尔特曼》)