OpenAI公关跳起来捂他嘴：Transformer作者承认参与Q

  这几天除了英伟达老黄组局把Transformer作者聚齐，他们中的几位还接受了连线杂志的采访，期间出了这么一个小插曲。

  当记者试图询问Lukasz Kaiser更多关于Q*的问题时时，OpenAI的公关人员几乎跳过桌子去捂他的嘴。

  结合奥特曼在接受媒体采访时，毫不迟疑地拒绝了相关提问，“我们还没准备好谈论这一个话题”。

  不过对于Transformer背后的开发内幕，以及谷歌究竟为什么没能在得到这项技术之后抢先推出轰动世界的AI产品，作者们透露了不少：

  它不仅是当今ChatGPT为代表的大模型技术起源之一，其中介绍的Transformer架构和注意力机制也被用在了Sora、AlphaFold等众多改变世界的AI技术之中，是当之无愧的传奇。

  2012年，一个团队致力于开发新功能，期望能在搜索页面上直接回答用户的问题，而不用点击链接跳转到其他网站。

  最终这项努力催生出了Transformer架构，能有效在数据和算力上扩展，导致了整个AI领域重大突破。

  Jokob Uszkoreit（现AI生物技术公司Inceptive联合发起人）就是在这样一个时间段放弃攻读博士学位加入了这个团队，成为Transformer最初的起点。

  他来自德国，硕士毕业于柏林工业大学，父亲Hans Uszkoreit是著名计算语言学家、欧洲科学院院士。

  在Uszkoreit（后简称乌兹哥）现在看来，谷歌高层当时对Siri的恐慌是没必要的，Siri从未真正威胁到过谷歌的业务，但他很高兴能有机会深入研究AI和对线年也是AlexNet在计算机视觉大获成功、神经网络复兴的时候，谷歌

  ，希望能开发出自动补全电子邮件的功能，或相对简单的客户服务聊天机器人。当时最被认可的方案是长短期记忆网络

  ，但这项技术只能按照顺序处理句子，无法有效利用文章后面也许会出现的线年左右才有了新进展，乌兹哥开始尝试现在被称为“自注意力”的方法。02 注意力机制诞生

  乌兹哥认为自注意力模型可能比循环神经网络更快、更有效，处理信息的方式也很适合擅长并行处理的GPU。

  但当时，包括他的学术大牛父亲在内，许多人都不看好，认为抛弃了循环神经网络就是一种异端。

  乌兹哥花了一些力气说服几位同事一起试验新想法，并于2016年发表了一篇相关论文。

  其他研究人员就像在答题闯关中刚答对了一道题就带着微薄的奖金离开，但乌兹哥坚持认为自注意力机制能发挥更大的作用，开始在公司里到处找人安利他的想法。2016年的一天，他终于遇到志同道合的人

  乌兹哥与菠萝哥共进午餐的时候听说这事，毫不犹豫的安利起他的自注意力机制。菠萝哥曾透露，他后来觉得A自注意力就像科幻小说

  Vaswani（后简称瓦斯哥）来自印度，博士毕业于南加州大学后加入谷歌大脑，相信神经网络将促进人类整体的理解能力。

  ，也因为菠萝哥小时候喜欢玩变形金刚玩具。不过菠萝哥没过多久就从谷歌离开去创业了，同时，其他成员陆续加入这个小队伍。2017年初，第四位成员

  （后简称帕姐）加入，他与瓦斯哥同样来自印度、也都毕业于南加大，后来两人也成了创业伙伴。

  （后简称囧哥）来自英国，2009年硕士毕业于伯明翰大学，但有好几个月找不到工作靠救济金工作。2012年他先加入Youtube团队，后进入谷歌研究院。

  Kelcey信奉贝叶斯，他的头像是AI预测他是技术宅的概率为60%。后来他认为没加入Transformer团队这是他一生中最大的预测失误。

  早期Transformer原型表现不错，但只是与LSTM方案差不多，并没有更好。

  此时，第八位关键成员Noam Shazeer（后简称沙哥）出场了，他毕业于杜克大学，2000年加入谷歌，当时全公司只有200人左右，

  后来他成为谷歌内部的传奇人物，参与了谷歌搜索的拼写纠正功能，也负责过早期广告系统，2021年离开谷歌后创办了Character.AI。

  沙哥的加入至关重要，他用自己的想法重新编写了整个代码，把总系统提升到了一个新的水平。

  团队一下充满动力，开始拼命卷自己，想在2017年NIPS（后改名NeurIPS）截止的5月19日之前完成。

  Deadline前的最后两周，他们大部分时间都在咖啡机附近的办公室，很少睡觉。

  最终在沙哥的帮助下，人们现在所知道的Transformer架构诞生了，相比试验中的其他方案显得非常

  在给论文取名字的阶段，来自英国的囧哥提议借用披头士乐队的歌曲《All You Need Is Love》，改成《Attention is all you need》，其他人也同意了。

  参会的几位作者一直聊到嗓子嘶哑，最后场地闭馆时仍然人头攒动，最后被保安清场。

  05 OpenAI摘桃子回到论文撰写过程中的某一天，瓦斯哥累得瘫倒在办公的地方的沙发上，盯着窗帘看出了幻觉，觉得布料上的图案就像突触和神经元。

  最终就像人脑一样，将所有语音、视觉等所有模态统一在一个架构下。沙哥则在应用方向上有惊人的远见，论文发表前后就给谷歌高管去了一封信。

  ，并用Transformer架构训练一个巨大的神经网络替代，绝大多数都是在建议谷歌改变整个信息组织的方式。

  当时团队里凯哥都还认为这个想法很荒谬。但如今看来，谷歌正在朝这个方向努力，只是个时间问题了。乌兹哥后来复盘，在2019年或者2020年谷歌就有机会推出GPT-3，甚至是GPT-3.5等级的模型，还发出灵魂提问：

  ，并建议同事Alec Radford开始动手研究。Radford先开发了GPT的原型，然后OpenAI调动更多人从机器人、DOTA游戏等项目转型，参与进来开发了GPT-1、GPT-2……这就是另外一个故事了。打造一种能同时在数据和算力上扩展的模型，是Transformer架构的出发点，也是其成功的关键。

  但少了顶层设计和推动，谷歌也就只能止步于此，单靠员工自发已经没办法组织起满足Scaling Law发展下去需要的人力物力财力。

  OpenAI的组织形态既有自下而上的灵活、又有自上而下的专注，能在这条路上走的更远几乎是不可避免的。

  OpenAI CEO奥特曼曾评价，谷歌高层当时似乎没人认识到Transformer真正意味着什么。

  ，为公司可以提供大模型解决方案，目前估值22亿美元。2021年开始，成员集中出走。瓦斯哥和帕姐先后携手创办

  （融资800万美元），都是自动化工作流程方向。沙哥创办AI角色扮演聊天平台Character.AI，现在估值约50亿美元，用户活跃度和留存率比OpenAI都高。

  乌兹哥回到德国创办的生物AI技术公司Inceptive，估值3亿美元。甚至乌兹哥透露，他的计算语言学家老父亲也在筹办一家新的AI公司，同样基于Transformer。

  只有凯哥没有创业，2021年他加入了OpenAI，后来参与了GPT-4，以及Q*项目。最后离开的是囧哥，23年他到日本创办的

  估值2亿美元，最新成果是用擅长不相同的领域的大模型融合，结合进化算法，搞出更强的模型。

  语言模型将以各种方式慢慢的变多地融入我们的生活，并且将在全球算力中占主导地位。这太有前瞻性了，几乎准确预言了后来ChatGPT时代发生的事，也就是现在进行时。