AI 좀 써본 사람들은 다 안다는 온톨로지 vs 지식그래프 vs RAG 차이

세 가지는 층이 다릅니다. 온톨로지는 "어떤 개념과 관계가 있는가"를 정한 설계도, 지식그래프는 그 설계도에 따라 실제 데이터를 연결한 것, RAG는 AI가 답하기 전에 관련 자료를 찾아 읽게 하는 방법입니다. 사내 문서로 답하는 AI를 만들 때 대부분은 RAG부터 시작하고, 숫자·관계를 정확히 따져야 하는 질문이 많아지면 지식그래프를 붙입니다. 의류 발주 데이터를 예로 세 가지를 한 장에 비교합니다.

한 장 비교표

구분	온톨로지	지식그래프	RAG
한 줄 정의	개념·관계의 설계도	설계도대로 채운 실제 데이터 연결망	AI가 찾아 읽고 답하는 방식
비유	엑셀 표의 머리글과 규칙	머리글 아래 채워진 행들	시험 볼 때 오픈북
다루는 것	클래스, 속성, 관계 규칙	노드(개체)와 엣지(관계)	문서 조각, 검색, 프롬프트
답하는 질문	"발주에는 무엇이 반드시 있어야 하나"	"A공장이 맡은 오더 중 납기 지연은?"	"이 계약서에서 클레임 조건이 뭐야?"
만드는 난이도	높음 (업무 전문가 필수)	중간~높음	낮음~중간
약점	만들어도 데이터가 없으면 빈 틀	구축·갱신 비용	여러 문서를 엮는 질문에 약함

온톨로지와 지식그래프는 "데이터를 어떻게 구조화하나", RAG는 "AI에게 데이터를 어떻게 먹이나"의 문제입니다. 서로 대체 관계가 아니라 같이 쓰는 관계입니다.

온톨로지 지식그래프 RAG의 관계를 3단으로 비교한 도식

의류 발주로 보는 세 가지

온톨로지 — 머리글과 규칙을 정하는 단계

클래스:  바이어, 스타일, 오더(PO), 공장, 원단
관계:    바이어 —발주한다→ 오더
         오더 —포함한다→ 스타일
         오더 —배정된다→ 공장
         스타일 —사용한다→ 원단
규칙:    오더는 반드시 하나의 공장에 배정된다
         스타일은 하나 이상의 원단을 사용한다

아직 실제 데이터는 하나도 없습니다. "우리 업무에는 이런 것들이 있고 이렇게 연결된다"는 약속만 있습니다. 이 약속이 있어야 부서마다 "오더", "PO", "발주"를 다르게 부르는 혼란이 정리됩니다.

지식그래프 — 실제 데이터를 채운 단계

바이어 X ─발주─▶ PO-2611 ─포함─▶ 스타일 T-104 ─사용─▶ 싱글저지 30수
                   │
                   └─배정─▶ 베트남 2공장

설계도에 맞춰 실제 오더, 실제 공장, 실제 원단이 점(노드)과 선(엣지)으로 이어집니다. 이렇게 이어 두면 "싱글저지 30수가 입고 지연되면 영향받는 오더와 바이어는?" 같은 질문에 선을 따라가며 정확히 답할 수 있습니다. 엑셀로 하면 VLOOKUP을 서너 번 이어 붙여야 하는 질문입니다.

RAG — AI가 자료를 찾아 읽고 답하게 하는 단계

질문: "바이어 X 계약서에서 납기 지연 페널티 조건이 뭐야?"
1) 사내 문서에서 관련 조각을 검색  (계약서 PDF 7페이지, 메일 2건)
2) 찾은 조각을 질문과 함께 AI에 전달
3) AI가 그 조각을 근거로 답변 + 출처 표시

RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 AI가 학습하지 않은 사내 자료로 답하게 하는 가장 흔한 방법입니다. 문서를 그대로 쌓아 두고 검색만 붙이면 되니 시작이 빠릅니다.

RAG만으로 부족해지는 순간

RAG는 "어느 문서에 답이 있는" 질문에 강합니다. 반대로 이런 질문에서는 자주 틀립니다.

질문 유형	RAG만 쓸 때 문제
"5공장이 맡은 오더 중 원단 입고가 늦은 건 몇 건?"	답이 여러 문서에 흩어져 있어 검색 조각 몇 개로는 셀 수 없음
"이 원단을 쓰는 모든 스타일의 바이어 목록"	관계를 두세 단계 따라가야 함
"작년 대비 납기 지연이 늘었나?"	집계·비교는 검색이 아니라 계산의 문제

관계를 따라가거나 세어야 하는 질문에서 지식그래프가 필요해집니다. 그래프에서 관련 개체와 관계를 먼저 찾고, 그 결과를 AI에 넘기는 방식을 묶어 GraphRAG라고 부릅니다.

그래서 우리 회사는 뭐부터 하나

상황	시작점
규정·계약서·매뉴얼에서 답을 찾고 싶다	RAG — 문서 정리 + 검색부터
부서마다 같은 걸 다르게 불러서 데이터가 안 합쳐진다	온톨로지 — 용어·관계 정의부터
오더·공장·원단을 엮는 질문이 많다	지식그래프 (온톨로지가 먼저 있어야 함)
아직 데이터가 엑셀 파일 수십 개에 흩어져 있다	셋 다 이르다 — 엑셀 표 구조 통일부터

마지막 줄이 가장 현실적입니다. 시트마다 머리글이 다르고 병합 셀이 가득한 상태에서는 어떤 AI 방식도 제대로 작동하지 않습니다. 머리글 한 줄, 한 행에 한 건, 병합 셀 없음. 이 세 가지만 지켜도 나중에 온톨로지·지식그래프로 옮기는 비용이 크게 줄어듭니다. 엑셀 표를 AI가 읽기 좋게 정리하는 법은 엑셀과 AI의 결합 — 자연어로 데이터 분석하는 노하우에 정리해 두었습니다.

자주 헷갈리는 질문 3가지

Q. 온톨로지 없이 지식그래프를 만들 수 있나요?

만들 수는 있습니다. 다만 노드와 관계 이름을 그때그때 정하면 금방 뒤죽박죽이 됩니다. 규모가 작아도 "어떤 종류의 점과 선을 쓸지"는 먼저 정해 두는 게 좋고, 그게 가벼운 온톨로지입니다.

Q. 벡터 DB가 지식그래프인가요?

아닙니다. 벡터 DB는 문장의 의미를 숫자로 바꿔 비슷한 문서를 찾는 저장소로, RAG의 검색 단계에 씁니다. 지식그래프는 명시적인 관계를 저장합니다. "비슷한 것 찾기"와 "연결된 것 따라가기"의 차이입니다.

Q. ChatGPT나 Claude에 파일을 올려서 묻는 것도 RAG인가요?

넓게 보면 같은 원리입니다. AI가 올린 파일에서 관련 부분을 찾아 읽고 답합니다. 사내 시스템으로 만들 때는 이 과정을 문서 수천 개 규모로 자동화하고 권한 관리를 붙이는 것이 다릅니다.

마무리

• 온톨로지 = 설계도, 지식그래프 = 채운 데이터, RAG = 찾아 읽고 답하기. 층이 다릅니다.
• 문서에서 답 찾기는 RAG, 관계를 따라가거나 세는 질문은 지식그래프가 맞습니다.
• 데이터가 엑셀에 흩어져 있다면 표 구조 통일이 먼저입니다.

온톨로지의 개념과 구축 단계는 이 블로그의 「온톨로지 완벽 가이드」 ① 기초편과 ② 구축편에서 더 자세히 다뤘습니다.

관련 글

• 엑셀과 AI의 결합 — 복잡한 함수를 몰라도 자연어로 데이터 분석하는 노하우
• 엑셀 업무 자동화 Claude vs ChatGPT vs Gemini 직접 써보고 비교해봤습니다
• 퇴근 시간 줄여주는 업무 자동화 AI 도구 3가지

참고

• W3C — OWL 2 Web Ontology Language Primer: https://www.w3.org/TR/owl2-primer/
• Microsoft Research — GraphRAG 프로젝트: https://www.microsoft.com/en-us/research/project/graphrag/