지금은마라톤중

THINK-ON-GRAPH 2.0 : DEEP AND FAITHFUL LARGE LANGUAGE MODEL REASONING WITH KNOWLEDGE-GUIDED RETRIEVAL AUGMENTED GENERATION    0. ABSTRACT 대형 언어 모델(LLMs)은 자연어 처리 분야에서 강력한 성능을 보이지만, 복잡한 질문을 처리할 때 지식 부족과 환각(hallucination) 문제를 겪습니다. 이를 보완하기 위해 RAG(Retrieval-Augmented Generation) 방식이 도입되었지만, 기존 방식은 깊이 있는 정보 검색이 어려워 복잡한 추론을 수행하는 데 한계가 있습니다.ToG-2(Think-on-Graph 2.0)는 이러한 문제를 해결하기 위해 KG(지식 그래프)와 문서 검색을 ..

그래프 기반의 Retrieval-Augmented Generation(RAG) 기법은 추론 및 검색 효율성을 향상시키기 위해 주목받고 있습니다.앞서 포스팅했던 논문들도 포함되어 있으며, 아직 포스팅하지 않은 논문들도 있습니다.본 글에서는 여러 논문에서 제안된 방법을 비교하여 각각의 개념, 동작 방식을 가볍게 분석하겠습니다.  1. Reasoning on Graphs (RoG) - "Reasoning over Knowledge Graphs with Large Language Models" (2023)개념:질문(쿼리)을 경로(path)로 변환하여 정보 검색 수행.LLM을 활용해 질문에 대한 경로를 생성하고 검색을 유도.  2. Think on Graphs (ToG) - "Think on Graphs: Rea..

GNN-RAG:Graph Neural Retrieval for Large Language Model Reasoning   0. AbstractGNN-RAG는 Knowledge Graph Question Answering(KGQA) 문제를 해결하기 위해 GNN(Graph Neural Network)과 LLM(Large Language Model)을 결합한 혁신적인 Retrieval-Augmented Generation(RAG) 프레임워크를 제안합니다. 기존의 텍스트 기반 RAG 접근법이 KG의 복잡한 구조를 효과적으로 처리하지 못하는 한계를 극복하기 위해, 본 연구는 GNN 기반 검색을 통해 관련 정보를 효율적으로 추출하고, 이를 텍스트화하여 LLM의 입력으로 활용합니다. 특히, Retrieval Augm..

THINK-ON-GRAPH: DEEP AND RESPONSIBLE REASONING OF LARGE LANGUAGE MODEL ON KNOWLEDGE GRAPH   0. 초록 (Abstract)대형 언어 모델(LLMs)의 한계와 새로운 가능성대형 언어 모델(LLMs)은 놀라운 자연어 처리 성능을 보여왔지만, 복잡한 추론 문제에서는 여전히 한계를 보이고 있습니다. 특히, 지식이 부족하거나 오래된 경우 hallucination 문제를 일으키며, 추론 과정에서 투명성과 책임감이 부족한 모습을 보입니다. 이러한 문제를 해결하기 위해 지식 그래프(Knowledge Graph, KG)를 활용하는 방법론이 주목받고 있습니다.ToG(Think-on-Graph): LLM과 KG의 긴밀한 통합기존에는 LLM이 질문을 SP..

Don’t Do RAG:When Cache - Augmented Generation is All You Need for Knowledge Tasks  1. IntroductionRetrieval-Augmented Generation(RAG)은 외부 지식 소스를 검색해 거대 언어모델(LLM)과 결합함으로써 오픈 도메인 질문 및 특정 도메인 작업에 있어 강력한 성능을 보여왔습니다. 하지만 RAG는 실시간 검색과 같은 설계 특성으로 인해 여러 문제가 제기되고 있습니다.  RAG의 한계Retrieval Latency: 실시간 검색으로 인해 응답 시간이 느려질 수 있습니다.Retrieval Errors: 관련 문서를 정확히 선택하지 못할 경우 성능이 저하됩니다.System Complexity: 검색 및 생성 모듈..