自监督学习-bert模型

简要说明

bert就是进行选词填空，对输入进行遮盖删除处理，输出结果反馈是否一致接近原本输入的意思

工作原理

通过学习联系上下文预测w2的意思，早期技术如word embedding的提出，根据CBOW模型简单进行预测，当时受限于训练参数大小只能做简化版，而bert就相当于复杂版的词嵌入模型。

应用场景

• 将bert模型用于DNA预测分类，将ATCG序列表示成不同的词汇，将DNA序列表示成一串文字，但是无特殊顺序，输入BERT模型，进行线性回归分类输出。
• 音乐分类
• 蛋白质分类

总结：BERT模型通过就适合做各类预测分类回归任务

多语言BERT（Multi-BERT）

多语言输出预测输出，学习语言规律，不同语言意思相近会放在一起训练。

实际上虽然在预训练时，bert进行的填空回答的同时会学习词汇意思放入相似向量中，不同语言不同符号始终会区分开类别embedding。

BERT series VS GPT

gpt可以预测下一个token，知道输出完成。

引进prompt提示工程词，给出示例进行短期学习“few-shot learning”，或者是一个或者不给示例，直接给出任务进行测试，但是往往少量学习会给效果更好。

其他作用项目

• Image-BYOL

• Speech GLUE（语音库SUPERB）