[Paper Review] Can LLMs be Good Graph Judger for KnowledgeGraph Construction?

Can LLMs be Good Graph Judger for Knowledge

Graph Construction?

 

 

 

1. Introduction

비정형 텍스트를 정형 지식 그래프로 변환하는 것은 정보 관리와 정보 검색에서 중추적인 역할입니다. 지식 그래프 구축은 다양한 정보 소스로부터 수동적인 간섭의 필요성 없이 구조화된 지식 표현을 발전시키는 것을 목표로 하고 있습니다. GraphRAG와 추천시스템을 포함한 데이터 과학 애플리케이션의 중추적인 역할을 하는 지식 그래프는 더 방대한 정보의 이해와 처리로 중요해지고 있습니다.

최근 LLM은 다양한 제로샷 또는 퓨샷에서 엄청난 일반화 성능을 보여주고 있습니다. 또한 LLM은 자연어처리와 지식 그래프 관련해서도 좋은 성능을 보여주고 있습니다. 결과적으로, 비정형 자연어 문서로부터 KG와 의미적 그래프를 구축하는데 LLM의 강력한 일반화 능력이 활용되고 있습니다.

이런 강건한 일반화 능력 덕분에, 많은 정답을 표기하는 일(named entity recognition, NER), 엔티티 추출, 관계 추출 등의 필요성이 없어졌습니다. 그리고 In-Context Learning(ICL)로 LLM이 문서로부터 구조화된 트리플을 어떻게 추출하는지 가이드해줍니다.

그럼에도 불구하고, LLM은 KG 추출에서 여러 문제가 있습니다. LLM에서 추출 결과를 요청하는 것은 정보 손실을 이끌 수도 있습니다. 이를 해결하기 위해, 반복적인 프롬프팅 전략으로 극복하는 사례들이 있습니다.

 

LLM 기반의 연구들이 KGC에 있어 여러 성공을 보였지만 고질적인 3가지 문제가 있습니다.

 

(1) Noise Information

실제 문서는 방대할 뿐 아니라 노이즈도 많이 섞여있기 때문에 LLM이 구조화된 정보를 추출하는데 문제가 될 수 있습니다. 무관한 정보 추출로 인해 LLM의 통찰력이 흐려질 수 있습니다.

(2) Domain-Specific Knowledge

기본 LLM은 도메인에 대한 깊은 이해가 필용한 전문 용어에서 어려움을 겪습니다. 글로벌 시각과 로컬 시각의 연결성의 부족은 불완전한 정보 추출을 일으키고, LLM이 본질적이거나 계층적인 관계를 파악할 수 없게 합니다.

(3) Hallucination of LLM

 

KGC 구축할때 LLM이 환각 현상으로 인해 거짓이나 외곡된 정보를 생성합니다. 엔티티 간의 관계를 LLM을 통해 생성할 떄, 환각 현상은 더 발생할 수 있습니다. 이로 인해 잘못된 정보들이 KG에 통합되어 지식 기반의 신뢰성을 훼손할 수 있습니다.

논문에서는 파인튜닝 오픈소스 LLM을 활용한 GraphJudger를 제안합니다. GraphJudger는 다른 폐쇄적인 LLM에 의해 트리플 정확성을 전문가처럼 판단합니다.

 

 

GraphJudger은 위의 언급한 3가지 한계점을 개선할 3가지 모듈을 가지고 있습니다.

(1) the Entity-Centric Iterative Text Denoising module,

(2) Knowledge Aware Instruction Tuning module,

(3) Graph Judgement module

 

2. Graph Judger Framework

 

 

2-1. Entity-Centric Iterative Text Denoising

2단계 구성

우선, 반복적인 노이즈 제거와 엔티티 추출입니다.
다음으로, relation 추출을 하고 KG 초안을 만듭니다. 폐쇄형 LLM이 제로샷의 일반화 능력이 좋기 때문에 2단계 모두 이를 활용합니다. 구조화된 프롬프트 작성에는 few-shot learning을 활용합니다.

(1) Iterative denoising and entity extraction

• 초기 단계에서는 LLM을 통해 원문에서 엔티티를 추출

• 각 라운드마다 엔티티를 추출하고, 노이즈가 제거된 문서 생성

 

(2)Relation Extraction

• 노이즈가 제거된 문서와 엔티티 집합을 사용해 LLM이 Relation 생성

• 많은 Relation을 생성 후 필터링 단계에서 걸러줌.

• 트리플을 활용해 Draft KG 생성

 

 

 

 

2-2. Knowledge Aware Instruction Tuning

Instruction tuning으로 LLM을 fine-tuning 합니다. 

해당 단계는 Instruction tuning을 통해 LLM을 fine-tuning 하는 단계입니다. 훈련 데이터셋에 대하여 instruction을 만들고 오픈소스 LLM을 학습시켜 트리플 간의 일반적 논리와 도메인 특화 정보에 대한 이해를 시킬 것입니다. 일반적으로 트리플의 주어, 서술어, 목적어 구조가 익숙하지만, 학습을 통해 이 밖의 경우 이를 식별할수 있도록 합니다.

. 

• T_train의 Triple을 자연어 문장으로 변환

• T/F를 나타내는 결과도 생성

• 토큰화된 T_train, 토큰화된 instruction, 길이 L으로 타겟 결과의 확률을 생성

• Output 을 생성한 확률을 통해 fine-tune

 

 

 

 

 

 

2-3. Graph Judgement

마지막 단계에서는 1번 모듈의 KG 초안을 2번 모듈의 fine-tuned LLM을 활용하여 평가합니다.

• Draft KG를 fine-tuned LLM으로 평가

• LLM을 통해 Draft KG의 Triple을 필터링하여 고품질의 Triples 얻음

• 정제된 트리플 기반으로 relation도 필터링하여 최종 KG 생성

 

 

 

3. Experiments

3.1 Experiments Setting

1) Dataset 구성

•REBEL-Sub: REBEL 대규모 데이터셋에서 무작위 샘플링 후 노이즈 필터링

•GenWiki: Wikipedia 문서-그래프 짝으로 구성된 대규모 일반 데이터셋

•SCIERC: 과학 논문 초록 기반, entity/relation/coreference 주석 포함 (AI/NLP/ML 학회에서 수집)

2) 비교 대상 모델 (Baselines)

•gpt-3.5-turbo (ChatGPT), PiVe

 

3) 사용 LLM

•Entity-Centric Text Denoising : gpt-3.5-turbo

•Instruction Tuning : Llama2-7B

 

4) 평가 지표

•자연어 기반의 룰 베이스 방식의 한계를 극복하는 의미 기반 평가 지표 사용

•G-BERTScore, G-BLEU, G-ROUGE

 

 

 

3-2. Main Result

• GraphJudger는 모든 데이터셋에서 SOTA 달성

• Text Denoising 반복 횟수가 증가할수록 전반적인 정확도와 F1 향상

• SCIERC (도메인 특화)에서는 iteration 증가 시 정확도는 상승, F1은 감소

• 이유: 반복 과정에서 중요한 정보를 삭제 → recall 하락

   • 일부는 성능이 감소 → 정보 소실 문제(디노이징에서 정보 손실 가능성)

• GenWiki에서 성능이 가장 높게 나타난 이유:

   • triple 수는 많고 문서 길이는 짧아 정보 밀도↑ → LLM 처리에 유리

   • iteration 반복이 성능에 큰 차이를 주지 않음 (이미 고밀도 데이터)

 

 

Denoising을 통해 triple과 문서 chunk 간 semantic similarity 향상

•  상관관계의 색깔이 진해짐.

 

 

 

 

3-3. Ablation Study

모듈별 영향력 평가

• 제거시 서능 하락폭 가장 큼

• 무관한 정보부터 잘못된 트리플 생성하는 것을 방지

• Recall은 LLM이 잘 담당하지만, Acc는 GJ가 핵심 역할

• GJ를 제거하면 LLM이 생성한 오류 triple을 그대로 사용

 

 

 

 

 

 

 

 

 

Graph judgment 평가

• 다른 LLM 대비 GraphJudger의 성능이 우위

 

 

 

 

 

 

일반화 성능 평가

• GenWiki로 instruction tuning한 모델을 REBEL-Sub에 적용

• 다른 데이터셋으로 튜닝한 GraphJudger도 성능 우수

• GenWiki는 데이터량이 많고 일반지식 중심이어서 학습에 유리

• triple의 논리 구조는 데이터셋 간 공통된 부분이 있어 지식 일반화 가능

 

 

3-4. Case Study

• 원 그래프에서 ChatGPT가 만든 그래프는 복잡, GraphJudger가 만든 그래프는 노이즈 없이 핵심만 구성

• 노이즈 제거된 문서는 원문에서 불필요한 -LRB-, -RRB- 등을 제거

 

 

인사이트

지식 그래프 구축(KGC)은 그래프 기반 태스크에서 성능의 큰 영향을 줍니다. 

특히, GraphRAG의 선행 연구들의 한계점을 보면 불완전한 그래프가 가장 큰 이유 중 하나로 꼽힙니다.

그 만큼 KGC가 잘 이루어져야 결과도 긍정적임을 통해 지식 그래프 구축의 중요성을 확인했습니다.

해당 논문에서는 기존 연구에서 LLM을 엔티티와 엣지 추출 정도의 역할로만 썼다면 추출한 내용이 타당한지 점검자의 역할을 부여한 논문이라고 할 수 있습니다.

LLM에 모든 태스크를 의존한다는 것이 LLM 성능의 영향을 받을 수 있다는 단점이 되기도 하지만, 하나의 아이디어로써 살펴보았습니다. 

저 또한 최근 KGC 관련 논문들을 살펴보며 엔티티 추출 등을 LLM으로 수행한다는 점이 신뢰성이 떨어질 수 있고, 잘못 추출된 엔티티는 결국 불완전한 그래프를 구축하여 개선된 검색 방법으로도 좋은 결과를 가져올 수 없다고 생각했습니다.
이런 포인트를 통해 해당 논문이 한번 더 검증함으로써 양질의 지식 그래프 구축을 돕는 방법이 될 수 있습니다.