GNN-RAG: Graph Neural Retrieval
for Efficient Large Language Model Reasoning on Knowledge Graphs
https://arxiv.org/abs/2405.20139
2024, arxiv, 169 citation
GNN + RAG 이 조합이 뭔지 신기해서 보고자함.
지식 그래프 질의응답(Knowledge Graph Question Answering, KGQA)에서의 검색 증강 생성(Retrieval-Augmented Generation, RAG)은 지식 그래프(Knowledge Graph, KG)로부터 검색한 정보를 결합함으로써 대규모 언어 모델(Large Language Models, LLMs)의 문맥 이해를 강화한다.
*KGQA과제에서 KG 로부터 검색한 정보를 결합해 LLM 문맥 이해를 강화(RAG)한 방법이 유의했음
*KGQA이란, 자연어 질문을 입력으로 받아, 지식 그래프를 탐색·추론해서 정답 엔티티나 값을 찾음.
ex. Query) 오바바가 태어난 주가 속한 나라는?
Reasoning) Obama — born_in → Hawaii / Hawaii — located_in → USA
-> 여러 관계를 거쳐하는 질문을 multi-hop 이라고 함.
Answer) USA
최근의 대부분의 접근법은 실행 가능한 관계 경로를 생성하거나 KG를 탐색하기 위해 비용이 큰 LLM 호출에 의존하고 있는데, 이는 다중 홉(multi-hop)이나 다중 엔티티(multi-entity) 질문과 같이 복잡한 KGQA 과제에서는 비효율적이다. 본 연구에서는 효과적이면서도 효율적인 그래프 검색을 위해 경량 그래프 신경망(Graph Neural Networks, GNNs)을 활용하는 GNN-RAG 프레임워크를 제안한다. 이 GNN은 질문과의 관련성뿐만 아니라 이웃 노드의 관련성을 고려하여 각 노드에 중요도 가중치를 할당하도록 학습된다. 이를 통해 그래프 내에서 멀리 떨어진 노드의 문맥까지 효과적으로 처리할 수 있으며, 검색 성능을 향상시킨다.
*GNN-RAG 제안:
1. multi-hop, multi-entity 질문에 효율적으로 동작
2. 이웃 노드의 관련성을 고려한 각 노드간 중요도 가중치 할당
3. 멀리 떨어진 논드의 문맥까지 효과적으로 처리
GNN-RAG는 질문에 등장하는 엔티티와 GNN이 예측한 정답 후보를 연결하는 최단 경로를 검색하여, 이를 LLM에 제공할 문맥 정보로 활용한다. 실험 결과, GNN-RAG는 널리 사용되는 두 KGQA 벤치마크(WebQSP, CWQ)에서 효과적인 검색 성능을 보였으며, 7B 규모의 튜닝된 LLM을 사용했을 때 GPT-4와 비교해 동등하거나 더 우수한 성능을 달성했다. 또한 다중 홉 및 다중 엔티티 질문에서 LLM 기반 검색 접근법 대비 정답 F1 기준으로 8.9–15.5%p 향상된 성능을 보였다. 더 나아가, 지식 그래프 토큰 사용량을 9배 적게 사용하면서도 장문 문맥 추론(long-context inference)을 능가하는 성능을 기록했다.
코드는 다음 저장소에서 공개되어 있다:
https://github.com/cmavro/GNN-RAG
1. Problem
- LLM은 새로운 지식 습득/특정 도메인 적응증에 대한 한계가 있음. 환각 이슈도 있음.
- 그래서 RAG를 이용해 이를 보강했었음.
- KG + GNN을 활용해서 멀티홉 질문/복잡한 관계/장문 문맥 추론에 효율적인 프레임워크 제안.
2. Related Work
LLM 기반 접근법은 KGQA 과제에서 중요한 그래프 정보를 간과하거나 잘못 가지치기할 가능성이 있다.
- ToG(Sun et al., 2024)
- LLM을 사용해 홉(hop) 단위로 관련 사실을 순차적으로 검색한다.
- ToG는 LLM을 이용해 그래프 문맥을 선택적으로 확장한 후 가지치기(pruning)
- 의미 기반 파싱(semantic parsing)과 유사한 방식
- RoG(Luo et al., 2024a)
- LLM을 활용해 그럴듯한 관계 경로를 생성한 뒤, 이를 지식 그래프(KG)에 질의하여 관련 정보를 검색
- 어떠한 그래프 문맥에도 의존하지 않는다.
3. Idea
1. GNN기반의 방법은 밀집한 subgraph에 기반해서 추론을 하는데, 특히 복잡하고 multi-hop 그래프 구조를 잘 처리할 수 있다는 장점이 있다.
2. LLM기반의 방법은 자연어를 이해할 수 있어 증강과 추론 능력이 좋음, 추론과정을 자연어로 변환할 수 있는 능력이 있음
이 둘의 장점을 합친 것이 GNN-RAG임.
1.GNN으로 최단 경로를 찾아내고
2. 해당 경로를 추론의 근거로 자연어로 변환되어 LLM 입력으로 사용하여
=> 더욱 정확하고 설명 가능한 답변을 생성함.
Take away
- 유의한 성능의 향상인지는 좀더 검토가 필요함.
- 어떻게 추론능력이 정확하고 설명가능하다고 판단하고 평가하는지 확인이 필요함.
- 그냥 RAG보다 성능이 좋다고하는데.. 어차피 gnn을 shortedt path찾는데에만 사용할거면 굳이 gnn 이라는 모델을 써야되는지에 대한 의문이 있음. 그리고 dense한 biomedical domain에서는 이를 바로 접목하기에는 문제가 있어보임. 결국 global 관계까지 확장하지 못할 것 같기 때문에 그래서 K-Path가 나왔나 싶기도..
