Abstract（摘要）

• 问题背景：大语言模型（LLM）在文本任务上少样本学习能力强，但不能“看见”视觉世界，无法处理视觉推理等任务。
• 主流做法不足：现有方法常通过在大规模人工标注的图文配对数据集上预训练或微调来实现视觉-文本能力，对数据依赖大、成本高。
• 论文做法：提出LQAE（Language Quantized AutoEncoder）——一种VQ-VAE的变种，在无监督下用预训练语言模型代码本（如BERT/RoBERTa词表）直接将图片编码为文本token。
  • 图像嵌入→VQ到语言词表空间→随机mask→BERT预测→用BERT的预测embedding还原图片。
  • 结果是：没有图文配对标注，也能让“语义类似的图片”对应“类似的文本token簇”，实现两模态对齐。
• 能力效果：
  • encode图片→文本tokens→能利用LLM做few-shot分类；
  • 用BERT的text embedding做线性分类；
  • 关键创新：无需配对监督，仅靠语言模型实现多模态任务。

1. Introduction（引言）

• 背景扩展：Transformer大语言模型在NLP领域风靡，可以few-shot做各种文本任务。
• 关键缺陷：它们不能处理视觉信息（“不能看世界”），这限制了它们在机器人、视觉问答等领域的应用。
• 业界尝试：许多多模态工作聚焦于构建图文配对大数据集（如CLIP），但数据收集极其耗时/昂贵。
• 作者关注：单模态收集数据容易（如单纯爬取文本、图片），如何跨模态对齐而不依赖配对数据是难点。
• 论文主旨：
  • 用VQ技术，把图片编码进“预训练语言模型token空间”，用语言模型学习的语义能力和去噪能力。
  • 编码图片→文本token序列→随机mask→BERT恢复→用BERT输出还原图片。
  • 训练的目的是让图片被编码为一组token，这组token对同类图片近似，达到隐式图文对齐，无需配对数据。

方法核心思想

(1) VQ-VAE基础

• 标准流程：图片通过encoder编码出h，h被离散化为codebook上的token序列z，然后用decoder还原原图。损失包括重建损失、码本loss和承诺loss。

(2) 方案创新点

a) 用预训练语言模型codebook做量化空间

• 原始VQ-VAE是学一个图像码本，这里直接用RoBERTa/BERT的词表嵌入做“码本”。
• 图片被量化成语言模型token序列，图像与文本空间可直接打通。

b) 语言模型参与重建过程——mask + denoise

• mask+BERT：将图片编码后的tokens随机mask一部分（高比例），输入到冻结BERT/RoBERTa模型，要求BERT输出embedding，作为解码器的输入用于图片重构。
• 动机：BERT作为语言去噪器，逼迫encoder学出“语义合理”、“能被BERT恢复出去噪”的token序列（即对齐文本分布），从而实现无监督跨模态对齐。
• BERT loss：可选加入BERT mask预测loss提升下游表现。

c) 训练细节

• 只更新图片编码器和解码器，mask+语言模型参数不更新。
• 主要损失是图片重建+承诺损失+可能的BERT分布loss。

(3) 推理与应用

• 图片→text token序列：直接quantize进语言token空间。
• few-shot图像分类：用LLM（如GPT-3）prompt输入token序列完成classification。
• 线性分类：提取BERT中间层embedding做线性分类器训练。
• 完全零/弱监督：不用任何图文配对，训练仅需要图片，用语言模型的抽象“语义空间”做自然对齐。

1. 用预训练语言模型词嵌入（如RoBERTa/BERT）做image VQ码本，实现视觉token与文本token“空间共享”；
2. 设计图片mask token→语言模型去噪→图片重建流程，逼迫模型学习语义对齐代码，完全无监督实现视觉-文本分布的一致性；
3. 推理时可直接把图片序列token喂进LLM做few-shot分类，或者提BERT embedding做线性分类，证明语义对齐成功；
4. 极大降低了多模态对齐对配对标注数据的需求；为全新无监督跨模态方法开辟新路。

总结

LQAE通过“编码图片为语言token、语言模型去噪、图片重构”流程，让视觉embedding与语言分布无监督对齐，不需要图文配对数据，让图片能够在语言token空间中表达、分类和推理。