说conversational AI,其实对话引擎也很多年历史了,1966年第一个也就是MIT就做出了一个对话的引擎ELIZA,这么多年有很多次迭代,到了Siri,到了Alex,到了Cortana.现在大语言模型,或者基础模型,它自己本身就是一个工具,同时它也可以使用别的工具,比如使用Hugging Face等开源的数据、模型,然后去执行新的任务或者构建新
原来的自然语言处理有14种任务,我能够把动词找出来、名词找出来、句子分析清楚。即使分析清楚,你知道这是形容词,这是动词,这是名词——那这个名词是包香烟?还是你的舅舅?还是一个坟墓?还是个电影?No idea(不知道)。你需要的是知识。自然语言处理没有知识永远没用。
AI是科技发展曲线。crypto不见得是。科技发展曲线和非科技发展曲线是有根本差别的,科技曲线在发展不好的时候也就是停滞,但非科技不好说,非科技的事情在我不够理解时,无法预测是否对社会有伤害,这种情况下不宜武断参与。
我觉得大厂做这件事的话,很容易是为他自己的业务目标服务,你让他们提一个创新性的东西,一个从没见过的东西,从上到下都很难去做一个决定,惯性很难改变,所以大厂很难做出大的变革,反而机会是在创新公司。
如果车都不存在,如何设计安全带?如果都没有发明飞机,怎么设计安全的喷气式引擎?这种对未来的恐慌是误导。人工智能离人类水平的智能还很远,否则我们就不会还没有L5级自动驾驶了。而青年人学习20小时就会开车。
它接受了大量不一致的数据训练,试图预测下一个网络用户会说什么。人们对很多事情有不同的观点,而它必须有一种混合所有这些观点的方式,以便可以模拟任何人可能说的话。这与一个试图拥有一致世界观的人非常不同,特别是如果你想在世界上采取行动,拥有一致的世界观是非常有益的。
RLHF技术背后的其中一个作者正是John Schulman。很多人不知道的是,他也是ChatGPT项目的主要负责人。在ChatGPT发布前一个月,John Schulman在Robin Ranjit Singh Chauhan主持的TalkRL播客节目中,详细介绍了RLHF想法的产生源头,InstructGPT以WebGPT的主要思想,并阐述了AI对齐以及对AGI实现的看法。
开源的话在价格上有非常明显的优势,基本上可以不要钱就能使用这些东西;闭源如果还有生存空间的话,一定是做得比开源好,才有生存空间。所以当你更加追求效果的时候,你就会选择一个闭源的模型。但这是一个静态的观察或者说是讨论,动态的话可能说随着时间的推移,开源和闭源两条技术路线,最后谁会跑得更快。
在我年轻时代,69岁的美国人乔治·海尔迈耶发明了液晶,人们那时描绘将来做一面墙都是图像。我们那时连电视机都还没有看见过,怎么能理解未来,你想想这个科学的预测有多厉害!现在连液晶墙面也已经没落了。
许多实验室和公司正在开发类似的技术,将文本转化为图像。谷歌有Imagen,OpenAI有DALL-E,还有一些较小的项目,如Craiyon。这种技术从何而来,你觉得它未来会走向何处?Midjourney的愿景与这个领域的其他人有什么不同?
去年秋天,山姆·阿尔特曼与Open AI创始人之一、领英联合创始人雷德・霍夫曼(Reid Hoffman)展开了一场精彩对话。其中,山姆·阿尔特曼分享了他对于未来AI发展的预测:AI大模型技术,将成为继移动互联网之后,未来最大的技术平台;而以聊天机器人为界面,加上图像、音乐、文本等多模态模型的发展,将诞生大型企业。
将神经网络与人脑类比是值得商榷的。诚然,神经网络的起源受到了人脑的启发,但如今通过训练得到的人工智能的优化过程和人脑的优化过程有很大区别。人脑通过长时间的多智能体的自博弈(self-play)过程不断演化,大脑中的预测模型对于人类的存活和繁衍至关重要。而神经网络的优化实际上是对于大量数据的压缩。