지금은마라톤중

GNN-RAG:Graph Neural Retrieval for Large Language Model Reasoning   0. AbstractGNN-RAG는 Knowledge Graph Question Answering(KGQA) 문제를 해결하기 위해 GNN(Graph Neural Network)과 LLM(Large Language Model)을 결합한 혁신적인 Retrieval-Augmented Generation(RAG) 프레임워크를 제안합니다. 기존의 텍스트 기반 RAG 접근법이 KG의 복잡한 구조를 효과적으로 처리하지 못하는 한계를 극복하기 위해, 본 연구는 GNN 기반 검색을 통해 관련 정보를 효율적으로 추출하고, 이를 텍스트화하여 LLM의 입력으로 활용합니다. 특히, Retrieval Augm..

THINK-ON-GRAPH: DEEP AND RESPONSIBLE REASONING OF LARGE LANGUAGE MODEL ON KNOWLEDGE GRAPH   0. 초록 (Abstract)대형 언어 모델(LLMs)의 한계와 새로운 가능성대형 언어 모델(LLMs)은 놀라운 자연어 처리 성능을 보여왔지만, 복잡한 추론 문제에서는 여전히 한계를 보이고 있습니다. 특히, 지식이 부족하거나 오래된 경우 hallucination 문제를 일으키며, 추론 과정에서 투명성과 책임감이 부족한 모습을 보입니다. 이러한 문제를 해결하기 위해 지식 그래프(Knowledge Graph, KG)를 활용하는 방법론이 주목받고 있습니다.ToG(Think-on-Graph): LLM과 KG의 긴밀한 통합기존에는 LLM이 질문을 SP..

Don’t Do RAG:When Cache - Augmented Generation is All You Need for Knowledge Tasks  1. IntroductionRetrieval-Augmented Generation(RAG)은 외부 지식 소스를 검색해 거대 언어모델(LLM)과 결합함으로써 오픈 도메인 질문 및 특정 도메인 작업에 있어 강력한 성능을 보여왔습니다. 하지만 RAG는 실시간 검색과 같은 설계 특성으로 인해 여러 문제가 제기되고 있습니다.  RAG의 한계Retrieval Latency: 실시간 검색으로 인해 응답 시간이 느려질 수 있습니다.Retrieval Errors: 관련 문서를 정확히 선택하지 못할 경우 성능이 저하됩니다.System Complexity: 검색 및 생성 모듈..

그래프 기계학습의 대표적인 예- 노드 분류- 링크 예측 노드 분류 (Node Classification)정의:그래프의 각 노드에 특정 레이블(클래스)을 예측하는 작업.예: 소셜 네트워크에서 사용자의 관심사 분류.입력: 노드 피처(특성)와 그래프 구조.출력: 각 노드의 클래스(레이블).활용 사례:연구 논문 데이터에서 논문의 주제 분류.소셜 네트워크에서 사용자의 성향 분류. 링크 예측 (Link Prediction)정의:그래프에서 두 노드 간의 연결 여부를 예측하는 작업.예: 추천 시스템에서 사용자와 상품 간 연결(구매 가능성) 예측.입력: 두 노드 쌍과 그래프 구조.출력: 두 노드 간 연결 확률(0~1).활용 사례:추천 시스템에서 친구 추천 또는 제품 추천.네트워크 복구를 위한 연결 가능성 분석.  GNN..

그래프 라이브러리 비교- networkx, DGL, PyTorch Geometric  특징NetworkXDGLPyTorch Geometric (PyG)목적그래프 분석 및 시각화그래프 딥러닝 (GNN 학습 및 딥러닝 그래프 분석)그래프 딥러닝 (PyTorch 기반 GNN 학습)프레임워크 지원독립적 (Python 라이브러리)PyTorch, TensorFlow, MXNet 지원PyTorch 전용성능대규모 그래프에서 속도가 느림대규모 그래프 처리에 최적화, GPU 효율적소규모/중간 규모 그래프에 최적화사용자 인터페이스직관적인 그래프 생성 및 분석 기능 제공GNN 특화 API 제공, 다양한 그래프 유형 지원PyTorch와 유사한 API, 사용이 간편그래프 배치 처리미지원병렬 처리를 통한 효율적 배치 처리패킹 방식..

이웃 중첩 검출그래프 통계량노드 및 그래프 분류 작업에 유용함노드 간 관계를 정량화하지는 않음 - 관계 예측 문제에 적용하기 어려움⇒ 이웃 중첩 검출노드 쌍(pair) 사이의 관계성을 정량화하기 위해 이웃 중첩을 통계적으로 측정노드-노드 유사도 행렬가장 단순한 방법은 공통 이웃의 수를 세는 것이웃 중첩 통계량은 관계 예측에 활용될 수 있음노드-노드 유사성과 문턱(threshold) 값을 통해 관계 예측 가능  지역적 중첩 통계량두 노드의 공통 이웃의 수를 활용한 함수를 적용하는 것이 일반적노드 연결수에 의한 편향(bias)를 줄이기 위한 정규화 방법을 고안각 공통 이웃의 중요도를 함께 고려하려는 방법도 활용됨두 방법 모두 연결수가 작은 경우 더 높은 가중치를 주는 측정 방식  전역적 중첩 통계량지역적 중..

전통적인 그래프 접근법 1. 노드 및 그래프 분류를 위한 그래프 통계량과 커널 방법그래프 통계량기존의 그래프 데이터에서의 분류 문제는 전통적인 기계학습 패러다임을 따름그래프로부터 통계량 및 특징을 추출하고 분류기의 입력으로 활용노드-레벨 통계량과 그래프-레벨 통계량이 쓰임  노드-레벨 통계량노드 연결수 (Degree)가장 유용하고 필수적으로 확인해야 할 노드-레벨 통계량노드에 대해 인접(incident)한 링크 수를 계산가중(weighted) 그래프: 위 식을 통한 일반화 가능, 0과 1 대신 가중치로 확장해서 씀,유향(directed) 그래프: 인접 행렬의 행/열의 합으로 진출/진입 링크 수를 계산하여 정의예제: Marriage Network노드 연결수- 메디치: 5, 스트로치: 3, 과다니: 2 노드..

그래프 모델링복잡한 시스템을 표현할 수 있는 범용적인 자료구조시스템을 분석하고 이해할 수 있는 수학적 기초 제공노드(node): 객체의 집합링크(link): 객체들 간의 상호 작용그래프 (Graph)𝐺 = (𝑉, 𝐸) 로 표현노드의 집합 𝑉링크의 집합 𝐸 = {(𝑢, 𝑣) |𝑢 ∈ 𝑉, 𝑣 ∈ 𝑉}단순 그래프 (Simple Graph)두 노드 사이의 링크는 최대 1개같은 노드를 연결하는 링크는 없음모든 링크는 방향성이 없음(undirected), 즉 (𝑢, 𝑣 )∈ 𝐸 ↔( 𝑣, 𝑢) ∈ 𝐸인접 행렬 (Adjacency Matrix)그래프를 표현하는 편리한 방법$𝑨 ∈ ℝ^{ |𝑉| × |𝑉|}$ 로 표현모든 노드를 행(row)과 열(row)에 대응하여 링크 표현𝑨[..