几个人聊起了马斯克的卫星,当时我们就在心里算卫星轨道。后来在登雪山时,我们晚上没事就继续讨论这个问题,我当时很快就现场推导出了卫星绕地球的高度等数据,我特别震惊,在这么缺氧的情况下脑子还能转这么快,就很有成就感,当时就想下山后要不开个课。
在20世纪70年代和80年代进行人工神经网络研究是完全合理的。这个阶段的发展是无法预见的,直到最近,我还认为这场危机还远未来临。所以,我并不真的为自己所做的事情感到后悔。
即使有计算器,让小孩学四则运算也是有意义的。学习这些基础知识能帮助孩子们理解运算规则,还有个原因是我们有时候手头上不一定有计算器。但我觉得最重要的是,学好四则运算能让人更加相信计算器得出来的结果。学习编程也是这个道理。
说conversational AI,其实对话引擎也很多年历史了,1966年第一个也就是MIT就做出了一个对话的引擎ELIZA,这么多年有很多次迭代,到了Siri,到了Alex,到了Cortana.现在大语言模型,或者基础模型,它自己本身就是一个工具,同时它也可以使用别的工具,比如使用Hugging Face等开源的数据、模型,然后去执行新的任务或者构建新
原来的自然语言处理有14种任务,我能够把动词找出来、名词找出来、句子分析清楚。即使分析清楚,你知道这是形容词,这是动词,这是名词——那这个名词是包香烟?还是你的舅舅?还是一个坟墓?还是个电影?No idea(不知道)。你需要的是知识。自然语言处理没有知识永远没用。
AI是科技发展曲线。crypto不见得是。科技发展曲线和非科技发展曲线是有根本差别的,科技曲线在发展不好的时候也就是停滞,但非科技不好说,非科技的事情在我不够理解时,无法预测是否对社会有伤害,这种情况下不宜武断参与。
我觉得大厂做这件事的话,很容易是为他自己的业务目标服务,你让他们提一个创新性的东西,一个从没见过的东西,从上到下都很难去做一个决定,惯性很难改变,所以大厂很难做出大的变革,反而机会是在创新公司。
如果车都不存在,如何设计安全带?如果都没有发明飞机,怎么设计安全的喷气式引擎?这种对未来的恐慌是误导。人工智能离人类水平的智能还很远,否则我们就不会还没有L5级自动驾驶了。而青年人学习20小时就会开车。
它接受了大量不一致的数据训练,试图预测下一个网络用户会说什么。人们对很多事情有不同的观点,而它必须有一种混合所有这些观点的方式,以便可以模拟任何人可能说的话。这与一个试图拥有一致世界观的人非常不同,特别是如果你想在世界上采取行动,拥有一致的世界观是非常有益的。
RLHF技术背后的其中一个作者正是John Schulman。很多人不知道的是,他也是ChatGPT项目的主要负责人。在ChatGPT发布前一个月,John Schulman在Robin Ranjit Singh Chauhan主持的TalkRL播客节目中,详细介绍了RLHF想法的产生源头,InstructGPT以WebGPT的主要思想,并阐述了AI对齐以及对AGI实现的看法。
开源的话在价格上有非常明显的优势,基本上可以不要钱就能使用这些东西;闭源如果还有生存空间的话,一定是做得比开源好,才有生存空间。所以当你更加追求效果的时候,你就会选择一个闭源的模型。但这是一个静态的观察或者说是讨论,动态的话可能说随着时间的推移,开源和闭源两条技术路线,最后谁会跑得更快。
在我年轻时代,69岁的美国人乔治·海尔迈耶发明了液晶,人们那时描绘将来做一面墙都是图像。我们那时连电视机都还没有看见过,怎么能理解未来,你想想这个科学的预测有多厉害!现在连液晶墙面也已经没落了。