导语

你知道吗，AI大模型这么聪明，是用到了来自“变形金刚”的黑科技。

这可是有根据的啊。AI大模型从“人工智障”变身“超级学霸”，主要靠Transformer算法。而Transformer加上个S，就是大家的童年回忆“变形金刚”。

大家好，欢迎来到AI“芯”课堂。

上一期我们聊了什么是大模型。今天我们就来聊一聊让大模型“大”起来的黑科技——Transformer算法。

AI变聪明，全靠记忆力

Transformer出现之前，AI就像是个记忆力非常差的老大爷，读句子只能慢悠悠地、一个词一个词地、从前往后读。等它读完最后一个词，前面的词早就忘没了。

举个例子，你跟它说一句话，“大爷，楼上322住的是马冬梅家吧？”

当它读完最后的问号，不但记不住你问个是哪个门牌号，甚至连“马冬梅”都记不住了。（插入《夏洛特烦恼》马冬梅片段）。

记忆力差，读得还慢，抓不住重点，理解能力肯定好不了，回答也就前言不搭后语。

后来，Transformer算法就横空出世了。它有两个特别厉害的超能力。

第一个是超强的记忆力。借助注意力机制（Attention Mechanism），AI的记忆力飙升，能一次性读完整句话，找到其中的重点词，并把它们联系起来。比如，在“322住的是马冬梅”这句话里，它能立刻将“322”和“马冬梅”这两个关键信息联系在一起。

第二个超能力，是超级速度。为了让AI反应更快，Transformer还用到了两个黑科技。首先是并行处理。它能同时处理提示词里的所有词语，把处理数据的速度从“一目一行”提升到“一目十页”。

其次是位置编码。为了在处理大量词语时，还能明白句子的正确顺序，它会给每个词标好“座位号”。 这样AI就知道哪个词在前，哪个词在后。

正是因为有了Transformer算法，AI才能学习和处理海量的信息，把模型的“脑容量”做得超级大，从“人工智障”变成“变形金刚”。

毫不夸张地说，没有Transformer，就没有今天的AI盛况。

顺便说一句，ChatGPT里的“T”，指的就是这个Transformer！

下期预告

下一期呢，我们来聊聊是哪位大佬，偷偷的为AI的崛起买了单。