지금은마라톤중

From RAG to Memory: Non-Parametric Continual Learning for Large Language Models 0. AbstractLLM의 지속적인 학습은 RAG를 통해 새로운 정보를 받는 방식이 소개되었습니다. 그러나, RAG의 벡터 검색에 대한 의존성은 역동적이고 인간의 장기기억과 상호작용하는 것을 방해합니다.최근 RAG는 지식그래프와 같은 다양한 구조 증강을 통해 이러한 간극을 해소해왔습니다. 그러나, 보다 기본적인 사실적 태스크에 대해서는 표준 RAG보다 성능이 떨어집니다.우리는 의도치 않은 악화를 없애고 연관 기억과 의미파악 등을 포괄적인 처리할 수 있는 HippoRAG2를 제안합니다. HippoRAG2는 PPR 알고리즘을 사용한 HippoRAG와 실시간 LLM..

HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models 0. Abstract적대적이고 계속 변화하는 자연환경에서 살아남기 위해, 포유류의 뇌는 치명적인 망각을 피하기 위해 방대한 양의 지식을 저장하고 계속해서 새로운 지식을 통합합니다.LLM이 RAG를 통해 큰 성과를 냈지만, 여전히 효과적이고 효율적으로 많은 양의 새로운 지식을 통합하는데 어려움이 있습니다.논문에서는 새로운 지식을 더 오래 효율적으로 저장하는 인간의 장기기억 이론인 해마체 인덱싱을 활용한 HippoRAG를 소개합니다.HippoRAG는 LLM과 지식그래프, PPR을 조율하여 인간 기억의 신피질과 해마체를 모방합니다. HippoRAG는 기존 RAG 방법..

2025 상반기 회고 올해 상반기에는 대학원 진학했습니다. 그리고 mandal-art chart를 통해 1년 목표를 세웠습니다.올해 큰 목표는 '나다움'입니다. 대학원에 진학하여 학업적/연구적 성장도 목표지만, 저 자신을 채우고자는 목표를 수립했습니다.건강, 취미, 재테크, 학업, 커리어, 마음가짐 등의 큰 카테고리로 나눴습니다. 0. Mandal-art chart 달성률전체적으로 40% 정도 진행 중인 것 같습니다.- 독서 (5/10)권- 새로운 술 (6/10)병- 새로운 요리 도전 (5/10)개- 마라톤 10km 완주- 주 3회 운동- 축하 메세지 꼭 보내기- 연구실 적응- 등등.. 이 밖에도 더 많지만 대표적인 몇 가지만 적어봤습니다. 사소한 목표라도 적고 눈에 보이는 목표가 되니 달성하고자하는 ..

RiemannGFM: Learning a Graph Foundation Model from Riemannian Geometry 0. Abstract파운데이션 모델은 다른 데이터에서 사전 학습된 단일 모델로 크로스 도메인 전이성을 제공하며 인공지능의 새 시대를 예고했습니다. 그래프 신경망은 비유클리디안 구조를 최적화하며 그래프 데이터 학습을 가속했지만, 일반화 능력이 부족했습니다. 그러므로, 그래프 파운데이션 모델에 대한 주목이 커지고 많은 노력으로 거대언어모델을 활용하도록 했습니다. 반면에, 기존 연구는 text-attributed graphs에 주로 집중했으나, 실제 그래프의 더 넓은 범위는 텍스트 정보만을 포함하지 않았습니다. LLM을 만든 연속적인 그래프 설명은 그래프의 고유한 특성인 구조적 복잡..

How to Mitigate Information Loss in Knowledge Graphs for GraphRAG: Leveraging Triple Context Restoration and Query-Driven Feedback 0. Abstract최근 KG를 활용하는 LLM 연구들은 KG가 완전하다는 가정을 하고 있어, KGC의 본절적 한계와 비정형 글을 엔티티-엣지의 트리플로 바꾸면서 문맥적 손실을 가져옵니다.해당 논문에서는 Triple Context Restoration and Query-driven Feedback(TCR-QF) 프레임워크를 제안합니다. 문맥 정보를 재구성하고 반복적인 쿼리 기반 피드백으로 KG 구조를 정제합니다. 1. Introduction문제 제기: 기존 KG-aug..

Can LLMs be Good Graph Judger for KnowledgeGraph Construction? 1. Introduction비정형 텍스트를 정형 지식 그래프로 변환하는 것은 정보 관리와 정보 검색에서 중추적인 역할입니다. 지식 그래프 구축은 다양한 정보 소스로부터 수동적인 간섭의 필요성 없이 구조화된 지식 표현을 발전시키는 것을 목표로 하고 있습니다. GraphRAG와 추천시스템을 포함한 데이터 과학 애플리케이션의 중추적인 역할을 하는 지식 그래프는 더 방대한 정보의 이해와 처리로 중요해지고 있습니다.최근 LLM은 다양한 제로샷 또는 퓨샷에서 엄청난 일반화 성능을 보여주고 있습니다. 또한 LLM은 자연어처리와 지식 그래프 관련해서도 좋은 성능을 보여주고 있습니다. 결과적으로, 비정형 ..

Retrieval-Augmented Generation with Hierarchical Knowledge    0. Abstract그래프 기반의 RAG 방식은 특정 도메인 태스크에서 LLMs의 엄청난 성능 향상을 가져왔습니다. 그러나, 기존 RAG 방법들은 인간 사고의 계층적 지식을 적절히 활용하지 못해 RAG 시스템의 능력을 제한했습니다. 해당 논문에서는, indexing과 retireval 단계에서의 의미적 이해와 구조를 캡처하여 계층적 지식을 활용하는 HiRAG를 제안합니다. 실험을 통해 HiRAG는 기존 베이스라인 모델 대비 SOTA 성능을 달성했습니다.  1. IntroductionNaive RAG는 관련된 청크를 통해 ‘Hallucination’ 문제를 줄이는데 도움을 줬습니다. 하지만 관련 ..

Graphusion: A RAG Framework for Scientific Knowledge Graph Construction with a Global Perspective    0. Abstract지식그래프(KG)는 인공지능과 QA(Question-answering)과 같은 downstream task에서 중요한 역할을 하고 있습니다. 이런 KG를 구축하는데에는 전문가들의 상당한 노력을 필요로 합니다. 최근에 LLM이 지식 그래프 구축(KGC)에 사용되고 있습니다. 그러나, 대부분의 기존 접근들은 지역적 관점에서 지식 트리플을 추출하기에 전역적인 관점을 잃게됩니다.해당 논문에서는 free text로부터의 zero-shot KGC framework인 ‘Graphusion’을 제안합니다. 총 3단계로 구..