지금은마라톤중

Retrieval-Augmented Generation with Hierarchical Knowledge    0. Abstract그래프 기반의 RAG 방식은 특정 도메인 태스크에서 LLMs의 엄청난 성능 향상을 가져왔습니다. 그러나, 기존 RAG 방법들은 인간 사고의 계층적 지식을 적절히 활용하지 못해 RAG 시스템의 능력을 제한했습니다. 해당 논문에서는, indexing과 retireval 단계에서의 의미적 이해와 구조를 캡처하여 계층적 지식을 활용하는 HiRAG를 제안합니다. 실험을 통해 HiRAG는 기존 베이스라인 모델 대비 SOTA 성능을 달성했습니다.  1. IntroductionNaive RAG는 관련된 청크를 통해 ‘Hallucination’ 문제를 줄이는데 도움을 줬습니다. 하지만 관련 ..

Graphusion: A RAG Framework for Scientific Knowledge Graph Construction with a Global Perspective    0. Abstract지식그래프(KG)는 인공지능과 QA(Question-answering)과 같은 downstream task에서 중요한 역할을 하고 있습니다. 이런 KG를 구축하는데에는 전문가들의 상당한 노력을 필요로 합니다. 최근에 LLM이 지식 그래프 구축(KGC)에 사용되고 있습니다. 그러나, 대부분의 기존 접근들은 지역적 관점에서 지식 트리플을 추출하기에 전역적인 관점을 잃게됩니다.해당 논문에서는 free text로부터의 zero-shot KGC framework인 ‘Graphusion’을 제안합니다. 총 3단계로 구..

THINK-ON-GRAPH 2.0 : DEEP AND FAITHFUL LARGE LANGUAGE MODEL REASONING WITH KNOWLEDGE-GUIDED RETRIEVAL AUGMENTED GENERATION    0. ABSTRACT 대형 언어 모델(LLMs)은 자연어 처리 분야에서 강력한 성능을 보이지만, 복잡한 질문을 처리할 때 지식 부족과 환각(hallucination) 문제를 겪습니다. 이를 보완하기 위해 RAG(Retrieval-Augmented Generation) 방식이 도입되었지만, 기존 방식은 깊이 있는 정보 검색이 어려워 복잡한 추론을 수행하는 데 한계가 있습니다.ToG-2(Think-on-Graph 2.0)는 이러한 문제를 해결하기 위해 KG(지식 그래프)와 문서 검색을 ..

그래프 기반의 Retrieval-Augmented Generation(RAG) 기법은 추론 및 검색 효율성을 향상시키기 위해 주목받고 있습니다.앞서 포스팅했던 논문들도 포함되어 있으며, 아직 포스팅하지 않은 논문들도 있습니다.본 글에서는 여러 논문에서 제안된 방법을 비교하여 각각의 개념, 동작 방식을 가볍게 분석하겠습니다.  1. Reasoning on Graphs (RoG) - "Reasoning over Knowledge Graphs with Large Language Models" (2023)개념:질문(쿼리)을 경로(path)로 변환하여 정보 검색 수행.LLM을 활용해 질문에 대한 경로를 생성하고 검색을 유도.  2. Think on Graphs (ToG) - "Think on Graphs: Rea..

GNN-RAG:Graph Neural Retrieval for Large Language Model Reasoning   0. AbstractGNN-RAG는 Knowledge Graph Question Answering(KGQA) 문제를 해결하기 위해 GNN(Graph Neural Network)과 LLM(Large Language Model)을 결합한 혁신적인 Retrieval-Augmented Generation(RAG) 프레임워크를 제안합니다. 기존의 텍스트 기반 RAG 접근법이 KG의 복잡한 구조를 효과적으로 처리하지 못하는 한계를 극복하기 위해, 본 연구는 GNN 기반 검색을 통해 관련 정보를 효율적으로 추출하고, 이를 텍스트화하여 LLM의 입력으로 활용합니다. 특히, Retrieval Augm..

THINK-ON-GRAPH: DEEP AND RESPONSIBLE REASONING OF LARGE LANGUAGE MODEL ON KNOWLEDGE GRAPH   0. 초록 (Abstract)대형 언어 모델(LLMs)의 한계와 새로운 가능성대형 언어 모델(LLMs)은 놀라운 자연어 처리 성능을 보여왔지만, 복잡한 추론 문제에서는 여전히 한계를 보이고 있습니다. 특히, 지식이 부족하거나 오래된 경우 hallucination 문제를 일으키며, 추론 과정에서 투명성과 책임감이 부족한 모습을 보입니다. 이러한 문제를 해결하기 위해 지식 그래프(Knowledge Graph, KG)를 활용하는 방법론이 주목받고 있습니다.ToG(Think-on-Graph): LLM과 KG의 긴밀한 통합기존에는 LLM이 질문을 SP..

Don’t Do RAG:When Cache - Augmented Generation is All You Need for Knowledge Tasks  1. IntroductionRetrieval-Augmented Generation(RAG)은 외부 지식 소스를 검색해 거대 언어모델(LLM)과 결합함으로써 오픈 도메인 질문 및 특정 도메인 작업에 있어 강력한 성능을 보여왔습니다. 하지만 RAG는 실시간 검색과 같은 설계 특성으로 인해 여러 문제가 제기되고 있습니다.  RAG의 한계Retrieval Latency: 실시간 검색으로 인해 응답 시간이 느려질 수 있습니다.Retrieval Errors: 관련 문서를 정확히 선택하지 못할 경우 성능이 저하됩니다.System Complexity: 검색 및 생성 모듈..