지금은마라톤중

Retrieval-Augmented Generation with Hierarchical Knowledge    0. Abstract그래프 기반의 RAG 방식은 특정 도메인 태스크에서 LLMs의 엄청난 성능 향상을 가져왔습니다. 그러나, 기존 RAG 방법들은 인간 사고의 계층적 지식을 적절히 활용하지 못해 RAG 시스템의 능력을 제한했습니다. 해당 논문에서는, indexing과 retireval 단계에서의 의미적 이해와 구조를 캡처하여 계층적 지식을 활용하는 HiRAG를 제안합니다. 실험을 통해 HiRAG는 기존 베이스라인 모델 대비 SOTA 성능을 달성했습니다.  1. IntroductionNaive RAG는 관련된 청크를 통해 ‘Hallucination’ 문제를 줄이는데 도움을 줬습니다. 하지만 관련 ..

Graphusion: A RAG Framework for Scientific Knowledge Graph Construction with a Global Perspective    0. Abstract지식그래프(KG)는 인공지능과 QA(Question-answering)과 같은 downstream task에서 중요한 역할을 하고 있습니다. 이런 KG를 구축하는데에는 전문가들의 상당한 노력을 필요로 합니다. 최근에 LLM이 지식 그래프 구축(KGC)에 사용되고 있습니다. 그러나, 대부분의 기존 접근들은 지역적 관점에서 지식 트리플을 추출하기에 전역적인 관점을 잃게됩니다.해당 논문에서는 free text로부터의 zero-shot KGC framework인 ‘Graphusion’을 제안합니다. 총 3단계로 구..

GNN-RAG:Graph Neural Retrieval for Large Language Model Reasoning   0. AbstractGNN-RAG는 Knowledge Graph Question Answering(KGQA) 문제를 해결하기 위해 GNN(Graph Neural Network)과 LLM(Large Language Model)을 결합한 혁신적인 Retrieval-Augmented Generation(RAG) 프레임워크를 제안합니다. 기존의 텍스트 기반 RAG 접근법이 KG의 복잡한 구조를 효과적으로 처리하지 못하는 한계를 극복하기 위해, 본 연구는 GNN 기반 검색을 통해 관련 정보를 효율적으로 추출하고, 이를 텍스트화하여 LLM의 입력으로 활용합니다. 특히, Retrieval Augm..

THINK-ON-GRAPH: DEEP AND RESPONSIBLE REASONING OF LARGE LANGUAGE MODEL ON KNOWLEDGE GRAPH   0. 초록 (Abstract)대형 언어 모델(LLMs)의 한계와 새로운 가능성대형 언어 모델(LLMs)은 놀라운 자연어 처리 성능을 보여왔지만, 복잡한 추론 문제에서는 여전히 한계를 보이고 있습니다. 특히, 지식이 부족하거나 오래된 경우 hallucination 문제를 일으키며, 추론 과정에서 투명성과 책임감이 부족한 모습을 보입니다. 이러한 문제를 해결하기 위해 지식 그래프(Knowledge Graph, KG)를 활용하는 방법론이 주목받고 있습니다.ToG(Think-on-Graph): LLM과 KG의 긴밀한 통합기존에는 LLM이 질문을 SP..

Don’t Do RAG:When Cache - Augmented Generation is All You Need for Knowledge Tasks  1. IntroductionRetrieval-Augmented Generation(RAG)은 외부 지식 소스를 검색해 거대 언어모델(LLM)과 결합함으로써 오픈 도메인 질문 및 특정 도메인 작업에 있어 강력한 성능을 보여왔습니다. 하지만 RAG는 실시간 검색과 같은 설계 특성으로 인해 여러 문제가 제기되고 있습니다.  RAG의 한계Retrieval Latency: 실시간 검색으로 인해 응답 시간이 느려질 수 있습니다.Retrieval Errors: 관련 문서를 정확히 선택하지 못할 경우 성능이 저하됩니다.System Complexity: 검색 및 생성 모듈..