转载公众号 | 知识图谱科技

---

摘要

在知识图谱（KGs）中进行多跳链接预测的任务是知识图谱分析领域的一个挑战，因为它要求模型在做出预测之前，通过推理和理解所有中间连接。本文介绍了知识图谱大型语言模型（KG-LLM），这是一种利用大型语言模型（LLMs）处理知识图谱任务的新颖框架。我们首先将结构化知识图谱数据转换为自然语言，然后使用这些自然语言提示对LLMs进行微调，以增强知识图谱中的多跳链接预测。通过将知识图谱转换为自然语言提示，我们的框架旨在学习实体及其相互关系的潜在表示。为了展示KG-LLM框架的有效性，我们在此框架下对三种领先的语言模型进行了微调，包括Flan-T5、Llama2和Gemma。此外，我们还探讨了该框架为LLMs提供零样本能力处理先前未见过的提示的潜力。实验结果表明，KG-LLM显著提高了模型的泛化能力，使得在不熟悉场景下的预测更加准确。我们的代码可在https://anonymous.4open.science/r/KG-LLM-FEDO获取。

核心速览

研究背景

1. 研究问题

   ：这篇文章要解决的问题是如何在知识图谱（KGs）中进行多跳链接预测。多跳链接预测需要模型理解并推理所有中间连接，这在知识图谱分析领域是一个挑战。

2. 研究难点

   ：该问题的研究难点包括：现有方法主要关注判别性模型而非生成性模型，缺乏对推理过程的重视；现有方法主要关注两点之间的直接链接预测，忽略了多跳链接预测；传统模型缺乏泛化能力，面对未见过的任务表现不佳。

3. 相关工作

   ：该问题的研究相关工作有：基于嵌入的方法、图神经网络（GNN）模型、大型语言模型（LLMs）。基于嵌入的方法如TransE、Analogy、Complex、DistMult、Rescal、wsGAT、CongLR和ConvRot等；GNN模型如wsGAT、CongLR和ConvRot等；LLMs如BERT、GPT、Llama、Gemini和Flan-T5等。

研究方法

这篇论文提出了知识图谱大型语言模型（KG-LLM），用于解决知识图谱中的多跳链接预测问题。具体来说，

1. 知识图谱定义：

   

2. 多跳链接预测：多跳链接预测旨在识别知识图谱中多个关系步骤之间缺失的连接。

3. 知识提示：知识提示是专门为知识图谱设计的提示，将观察到的三元组序列转换为自然语言。KG-LLM知识提示采用结构化格式，包括指令和输入。消融知识提示则不包含指令和文本化的ID。

   

4. KG-LLM框架：初始知识图谱作为输入，每个节点被迭代地分配为根节点，使用深度优先搜索（DFS）提取所有可能的路径。去重后保留节点数为2到6的路径，这些路径被标记为正例（存在连接）和负例（不存在连接）。最后，这些路径被转换为KG-LLM和KG-LLM（消融）知识提示。在微调阶段，使用三种不同的LLMs：Flan-T5-Large、Llama2-7B和Gemma-7B。使用交叉熵损失函数L进行训练，计算模型预测的token概率与实际token概率的差异。

实验设计

1. 数据集

   ：实验在四个真实世界的数据集上进行：WN18RR、NELL-995、FB15k-237和YAGO3-10，这些数据集由OpenKE库构建。

2. 任务分割

   ：在每个数据集的预处理阶段，随机选择80%的节点构建训练集，剩下的20%节点用于验证集和测试集。

3. 比较基准

   ：评估KG-LLM框架有效性的实验包括非ICL多跳链接预测、一次性ICL多跳链接预测、非ICL多跳关系预测和一次性ICL多跳关系预测。

4. 实现细节

   ：每个模型在A40 GPU上训练5个epoch，最大复杂度设置为五跳，监控输入token大小以优化处理效率。

结果与分析

1. 非ICL多跳链接预测：KG-LLM框架在所有数据集上的表现均优于传统方法和消融框架。特别是，Flan-T5、Llama2和Gemma模型在WN18RR、NELL-995、FB15k-237和YAGO3-10数据集上的F1值和AUC值均有显著提升。

   

2. 多跳链接预测与ICL：ICL的引入显著提升了Llama2和Gemma模型的性能，特别是在WN18RR和NELL-995数据集上，F1值和AUC值均超过80%。然而，Flan-T5模型在某些数据集上的性能略有下降。

   

3. 非ICL多跳关系预测：两种框架在未见过的多跳关系预测任务中表现有限，KG-LLM框架的表现略优于消融框架。

4. 多跳关系预测与ICL：ICL的引入显著提高了模型在未见过的任务中的泛化能力，特别是在WN18RR数据集上，Llama2和Gemma模型的准确率超过了70%。

总体结论

这篇论文提出的KG-LLM框架通过将知识图谱转换为自然语言提示，并利用指令微调和上下文学习（ICL），显著提高了多跳链接预测任务的准确性。实验结果表明，KG-LLM框架不仅提升了生成性多跳链接预测的性能，还增强了模型在面对未见过的提示时的泛化能力。未来的工作将包括评估模型的推理过程和改进指令过程，以进一步提升KG-LLM模型的性能。

论文评价

优点与创新

1. 新颖的框架

   ：提出了知识图谱大型语言模型（KG-LLM），利用大型语言模型（LLMs）进行知识图谱任务。

2. 结构转换

   ：将结构化知识图谱数据转换为自然语言提示，使LLMs能够更好地理解和学习实体及其关系的潜在表示。

3. 多跳链接预测

   ：通过链式思维（CoT）提示和指令微调（IFT），显著提高了多跳链接预测的性能。

4. 零样本能力

   ：通过上下文学习（ICL），模型不仅提高了性能，还具备了处理未见过的提示的能力。

5. 实验验证

   ：在多个真实世界数据集上进行了实验，验证了KG-LLM框架的有效性。

6. 广泛比较

   ：与传统方法和消融框架进行了详细比较，展示了KG-LLM框架的全面优势。

不足与反思

1. 推理过程的可解释性

   ：未来工作包括在评估阶段访问模型的推理过程，以进一步提高模型的可解释性。

2. 指令过程的优化

   ：计划通过限制选项大小来改进指令过程，并探索使用提示质量过滤器来有效过滤噪声选项，从而提高模型的准确性和可靠性。

关键问题及回答

问题1：KG-LLM框架如何利用知识提示来增强多跳链接预测的性能？

KG-LLM框架通过将知识图谱转换为自然语言提示（knowledge prompts）来增强多跳链接预测的性能。具体来说，知识提示将知识图谱中的节点和关系ID文本化，并将其组织成一系列的关系语句。例如，对于节点A通过关系r与节点B相连，节点B通过关系s与节点C相连的路径，知识提示可以表示为：“Node A has relation r with Node B, Node B has relation s with Node C”。这种结构化的提示使得大型语言模型（LLMs）能够更好地理解和学习知识图谱中实体及其关系的潜在表示。此外，指令微调（instruction fine-tuning）进一步提升了模型的性能，使其能够专注于有限的选项并进行有效的推理。

问题2：在多跳链接预测任务中，KG-LLM框架与传统方法和消融框架相比有哪些优势？

1. 更好的理解关系网络

   ：KG-LLM框架通过知识提示将知识图谱转换为自然语言，使LLMs能够更好地理解实体之间的关系网络及其内在联系。

2. 增强的生成性能力

   ：与传统方法主要关注判别性模型不同，KG-LLM框架利用LLMs的生成性能力，能够进行更为灵活的多跳链接预测。

3. 提高泛化能力

   ：通过指令微调和上下文学习（ICL），KG-LLM框架显著提高了模型在面对未见过的任务和提示时的泛化能力。实验结果表明，KG-LLM框架在多跳链接预测任务中的表现优于传统方法和消融框架，特别是在复杂的多跳关系推理中表现突出。

问题3：在多跳关系预测任务中，ICL的引入对KG-LLM框架的性能有何影响？

1. 显著提升性能

   ：ICL的引入显著提高了KG-LLM框架在多跳关系预测任务中的性能。特别是在WN18RR和NELL-995数据集上，Llama2和Gemma模型的准确率超过了70%。

2. 增强泛化能力

   ：ICL使得模型能够更好地应对未见过的任务。通过在测试输入中添加一个来自训练数据的ICL示例，模型能够利用上下文信息来提高预测的准确性。

3. 不稳定提升

   ：尽管ICL在大多数情况下提升了性能，但在某些情况下，特别是对Flan-T5模型，ICL的引入可能导致性能略有下降。这可能是由于测试提示的长度和复杂性增加，使得模型难以有效利用ICL示例提供的上下文信息。

---

OpenKG

OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。

点击阅读原文，进入 OpenKG 网站。