지금은마라톤중

HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models 0. Abstract적대적이고 계속 변화하는 자연환경에서 살아남기 위해, 포유류의 뇌는 치명적인 망각을 피하기 위해 방대한 양의 지식을 저장하고 계속해서 새로운 지식을 통합합니다.LLM이 RAG를 통해 큰 성과를 냈지만, 여전히 효과적이고 효율적으로 많은 양의 새로운 지식을 통합하는데 어려움이 있습니다.논문에서는 새로운 지식을 더 오래 효율적으로 저장하는 인간의 장기기억 이론인 해마체 인덱싱을 활용한 HippoRAG를 소개합니다.HippoRAG는 LLM과 지식그래프, PPR을 조율하여 인간 기억의 신피질과 해마체를 모방합니다. HippoRAG는 기존 RAG 방법..

RiemannGFM: Learning a Graph Foundation Model from Riemannian Geometry 0. Abstract파운데이션 모델은 다른 데이터에서 사전 학습된 단일 모델로 크로스 도메인 전이성을 제공하며 인공지능의 새 시대를 예고했습니다. 그래프 신경망은 비유클리디안 구조를 최적화하며 그래프 데이터 학습을 가속했지만, 일반화 능력이 부족했습니다. 그러므로, 그래프 파운데이션 모델에 대한 주목이 커지고 많은 노력으로 거대언어모델을 활용하도록 했습니다. 반면에, 기존 연구는 text-attributed graphs에 주로 집중했으나, 실제 그래프의 더 넓은 범위는 텍스트 정보만을 포함하지 않았습니다. LLM을 만든 연속적인 그래프 설명은 그래프의 고유한 특성인 구조적 복잡..

How to Mitigate Information Loss in Knowledge Graphs for GraphRAG: Leveraging Triple Context Restoration and Query-Driven Feedback 0. Abstract최근 KG를 활용하는 LLM 연구들은 KG가 완전하다는 가정을 하고 있어, KGC의 본절적 한계와 비정형 글을 엔티티-엣지의 트리플로 바꾸면서 문맥적 손실을 가져옵니다.해당 논문에서는 Triple Context Restoration and Query-driven Feedback(TCR-QF) 프레임워크를 제안합니다. 문맥 정보를 재구성하고 반복적인 쿼리 기반 피드백으로 KG 구조를 정제합니다. 1. Introduction문제 제기: 기존 KG-aug..

Can LLMs be Good Graph Judger for KnowledgeGraph Construction? 1. Introduction비정형 텍스트를 정형 지식 그래프로 변환하는 것은 정보 관리와 정보 검색에서 중추적인 역할입니다. 지식 그래프 구축은 다양한 정보 소스로부터 수동적인 간섭의 필요성 없이 구조화된 지식 표현을 발전시키는 것을 목표로 하고 있습니다. GraphRAG와 추천시스템을 포함한 데이터 과학 애플리케이션의 중추적인 역할을 하는 지식 그래프는 더 방대한 정보의 이해와 처리로 중요해지고 있습니다.최근 LLM은 다양한 제로샷 또는 퓨샷에서 엄청난 일반화 성능을 보여주고 있습니다. 또한 LLM은 자연어처리와 지식 그래프 관련해서도 좋은 성능을 보여주고 있습니다. 결과적으로, 비정형 ..

Retrieval-Augmented Generation with Hierarchical Knowledge    0. Abstract그래프 기반의 RAG 방식은 특정 도메인 태스크에서 LLMs의 엄청난 성능 향상을 가져왔습니다. 그러나, 기존 RAG 방법들은 인간 사고의 계층적 지식을 적절히 활용하지 못해 RAG 시스템의 능력을 제한했습니다. 해당 논문에서는, indexing과 retireval 단계에서의 의미적 이해와 구조를 캡처하여 계층적 지식을 활용하는 HiRAG를 제안합니다. 실험을 통해 HiRAG는 기존 베이스라인 모델 대비 SOTA 성능을 달성했습니다.  1. IntroductionNaive RAG는 관련된 청크를 통해 ‘Hallucination’ 문제를 줄이는데 도움을 줬습니다. 하지만 관련 ..

Graphusion: A RAG Framework for Scientific Knowledge Graph Construction with a Global Perspective    0. Abstract지식그래프(KG)는 인공지능과 QA(Question-answering)과 같은 downstream task에서 중요한 역할을 하고 있습니다. 이런 KG를 구축하는데에는 전문가들의 상당한 노력을 필요로 합니다. 최근에 LLM이 지식 그래프 구축(KGC)에 사용되고 있습니다. 그러나, 대부분의 기존 접근들은 지역적 관점에서 지식 트리플을 추출하기에 전역적인 관점을 잃게됩니다.해당 논문에서는 free text로부터의 zero-shot KGC framework인 ‘Graphusion’을 제안합니다. 총 3단계로 구..

THINK-ON-GRAPH 2.0 : DEEP AND FAITHFUL LARGE LANGUAGE MODEL REASONING WITH KNOWLEDGE-GUIDED RETRIEVAL AUGMENTED GENERATION    0. ABSTRACT 대형 언어 모델(LLMs)은 자연어 처리 분야에서 강력한 성능을 보이지만, 복잡한 질문을 처리할 때 지식 부족과 환각(hallucination) 문제를 겪습니다. 이를 보완하기 위해 RAG(Retrieval-Augmented Generation) 방식이 도입되었지만, 기존 방식은 깊이 있는 정보 검색이 어려워 복잡한 추론을 수행하는 데 한계가 있습니다.ToG-2(Think-on-Graph 2.0)는 이러한 문제를 해결하기 위해 KG(지식 그래프)와 문서 검색을 ..

그래프 기반의 Retrieval-Augmented Generation(RAG) 기법은 추론 및 검색 효율성을 향상시키기 위해 주목받고 있습니다.앞서 포스팅했던 논문들도 포함되어 있으며, 아직 포스팅하지 않은 논문들도 있습니다.본 글에서는 여러 논문에서 제안된 방법을 비교하여 각각의 개념, 동작 방식을 가볍게 분석하겠습니다.  1. Reasoning on Graphs (RoG) - "Reasoning over Knowledge Graphs with Large Language Models" (2023)개념:질문(쿼리)을 경로(path)로 변환하여 정보 검색 수행.LLM을 활용해 질문에 대한 경로를 생성하고 검색을 유도.  2. Think on Graphs (ToG) - "Think on Graphs: Rea..