지금은마라톤중

THINK-ON-GRAPH 2.0 : DEEP AND FAITHFUL LARGE LANGUAGE MODEL REASONING WITH KNOWLEDGE-GUIDED RETRIEVAL AUGMENTED GENERATION    0. ABSTRACT 대형 언어 모델(LLMs)은 자연어 처리 분야에서 강력한 성능을 보이지만, 복잡한 질문을 처리할 때 지식 부족과 환각(hallucination) 문제를 겪습니다. 이를 보완하기 위해 RAG(Retrieval-Augmented Generation) 방식이 도입되었지만, 기존 방식은 깊이 있는 정보 검색이 어려워 복잡한 추론을 수행하는 데 한계가 있습니다.ToG-2(Think-on-Graph 2.0)는 이러한 문제를 해결하기 위해 KG(지식 그래프)와 문서 검색을 ..

그래프 기반의 Retrieval-Augmented Generation(RAG) 기법은 추론 및 검색 효율성을 향상시키기 위해 주목받고 있습니다.앞서 포스팅했던 논문들도 포함되어 있으며, 아직 포스팅하지 않은 논문들도 있습니다.본 글에서는 여러 논문에서 제안된 방법을 비교하여 각각의 개념, 동작 방식을 가볍게 분석하겠습니다.  1. Reasoning on Graphs (RoG) - "Reasoning over Knowledge Graphs with Large Language Models" (2023)개념:질문(쿼리)을 경로(path)로 변환하여 정보 검색 수행.LLM을 활용해 질문에 대한 경로를 생성하고 검색을 유도.  2. Think on Graphs (ToG) - "Think on Graphs: Rea..

GNN-RAG:Graph Neural Retrieval for Large Language Model Reasoning   0. AbstractGNN-RAG는 Knowledge Graph Question Answering(KGQA) 문제를 해결하기 위해 GNN(Graph Neural Network)과 LLM(Large Language Model)을 결합한 혁신적인 Retrieval-Augmented Generation(RAG) 프레임워크를 제안합니다. 기존의 텍스트 기반 RAG 접근법이 KG의 복잡한 구조를 효과적으로 처리하지 못하는 한계를 극복하기 위해, 본 연구는 GNN 기반 검색을 통해 관련 정보를 효율적으로 추출하고, 이를 텍스트화하여 LLM의 입력으로 활용합니다. 특히, Retrieval Augm..

THINK-ON-GRAPH: DEEP AND RESPONSIBLE REASONING OF LARGE LANGUAGE MODEL ON KNOWLEDGE GRAPH   0. 초록 (Abstract)대형 언어 모델(LLMs)의 한계와 새로운 가능성대형 언어 모델(LLMs)은 놀라운 자연어 처리 성능을 보여왔지만, 복잡한 추론 문제에서는 여전히 한계를 보이고 있습니다. 특히, 지식이 부족하거나 오래된 경우 hallucination 문제를 일으키며, 추론 과정에서 투명성과 책임감이 부족한 모습을 보입니다. 이러한 문제를 해결하기 위해 지식 그래프(Knowledge Graph, KG)를 활용하는 방법론이 주목받고 있습니다.ToG(Think-on-Graph): LLM과 KG의 긴밀한 통합기존에는 LLM이 질문을 SP..

Don’t Do RAG:When Cache - Augmented Generation is All You Need for Knowledge Tasks  1. IntroductionRetrieval-Augmented Generation(RAG)은 외부 지식 소스를 검색해 거대 언어모델(LLM)과 결합함으로써 오픈 도메인 질문 및 특정 도메인 작업에 있어 강력한 성능을 보여왔습니다. 하지만 RAG는 실시간 검색과 같은 설계 특성으로 인해 여러 문제가 제기되고 있습니다.  RAG의 한계Retrieval Latency: 실시간 검색으로 인해 응답 시간이 느려질 수 있습니다.Retrieval Errors: 관련 문서를 정확히 선택하지 못할 경우 성능이 저하됩니다.System Complexity: 검색 및 생성 모듈..

2024 하반기 회고저는 대학원에 갑니다....!! 상반기 회고에서 세운 계획 달성 약 70%상반기 회고 당시 하반기에 어떤 것을 해야할지 달별로 계획을 세웠습니다.지금 다시 계획들을 보니 많은 부분들이 계획대로 되지는 않았지만, 계획을 세웠기에 목표보다 더 나아간 부분들도 있었습니다.하반기는 1. 취업 > 2.대학원 >> 3.개발 이렇게 비중을 두고 준비했습니다.이렇게 보면 취업을 못해서 대학원을 간 것이라 볼 수 있으나, 반은 맞고 반은 틀립니다. 취업이 되었어도 대학원을 노릴 생각이었습니다. 상반기 때 취준에 전력을 하다지 못한 것이 아쉬워 최대한의 노력을 하고자 했습니다.   1. 공채하반기에는 최대한 많은 기업을 지원하자는 목표가 있었기에 30여개의 기업에 지원했고 실패했습니다.지원기간이 겹칠 ..

그래프 기계학습의 대표적인 예- 노드 분류- 링크 예측 노드 분류 (Node Classification)정의:그래프의 각 노드에 특정 레이블(클래스)을 예측하는 작업.예: 소셜 네트워크에서 사용자의 관심사 분류.입력: 노드 피처(특성)와 그래프 구조.출력: 각 노드의 클래스(레이블).활용 사례:연구 논문 데이터에서 논문의 주제 분류.소셜 네트워크에서 사용자의 성향 분류. 링크 예측 (Link Prediction)정의:그래프에서 두 노드 간의 연결 여부를 예측하는 작업.예: 추천 시스템에서 사용자와 상품 간 연결(구매 가능성) 예측.입력: 두 노드 쌍과 그래프 구조.출력: 두 노드 간 연결 확률(0~1).활용 사례:추천 시스템에서 친구 추천 또는 제품 추천.네트워크 복구를 위한 연결 가능성 분석.  GNN..

그래프 라이브러리 비교- networkx, DGL, PyTorch Geometric  특징NetworkXDGLPyTorch Geometric (PyG)목적그래프 분석 및 시각화그래프 딥러닝 (GNN 학습 및 딥러닝 그래프 분석)그래프 딥러닝 (PyTorch 기반 GNN 학습)프레임워크 지원독립적 (Python 라이브러리)PyTorch, TensorFlow, MXNet 지원PyTorch 전용성능대규모 그래프에서 속도가 느림대규모 그래프 처리에 최적화, GPU 효율적소규모/중간 규모 그래프에 최적화사용자 인터페이스직관적인 그래프 생성 및 분석 기능 제공GNN 특화 API 제공, 다양한 그래프 유형 지원PyTorch와 유사한 API, 사용이 간편그래프 배치 처리미지원병렬 처리를 통한 효율적 배치 처리패킹 방식..