본문 바로가기

전체 글125

Metric View로 만드는 시맨틱 레이어 — 지표를 한 번 정의하고 어디서나 같은 숫자로 시맨틱 레이어(Semantic Layer)는 원천 데이터와 이를 쓰는 도구(SQL, 대시보드, AI) 사이에서 테이블·컬럼 같은 기술 구조를 "매출", "고객 수" 같은 업무 용어와 지표로 정의해 두는 층입니다. 정의가 한 곳에 있으므로 어떤 도구로 조회하든 같은 숫자가 나옵니다. Databricks에서는 Metric View가 이 중 지표 정의를 맡습니다.시맨틱 레이어가 없으면 같은 지표라도 누가 계산하느냐에 따라 숫자가 달라집니다. "매출"만 해도 대시보드 담당자는 취소 주문을 빼고 분석가는 넣습니다. "고객 수"는 월별 요약표를 다시 합산하는 순간 여러 달 주문한 고객이 중복으로 세어집니다. Metric View는 이런 지표 정의를 Unity Catalog에 한 번만 등록해 두고, SQL·AI/BI.. 2026. 10. 18.
OntoBricks로 이해하는 온톨로지 ③ 구성 — 설정부터 공개까지 📚 시리즈① 개념 — 온톨로지와 지식 그래프 첫걸음② 이해 — OntoBricks란③ 구성 — 설정부터 공개까지 (현재 글)④ 데모 — GraphQL·자연어·MCP 질의이번 편에서는 가상 금융그룹 데이터로 OntoBricks를 배포하고, 온톨로지를 만들고, 테이블에 매핑해 그래프를 만들고, 추론·검증을 거쳐 공개하는 데까지 실제 화면으로 따라갑니다. 화면은 OntoBricks v0.8.1 기준입니다. 1. 앱 배포와 레지스트리 초기화OntoBricks 저장소의 배포 스크립트가 앱 두 개(웹 UI, MCP 서버)를 Databricks Apps로 올립니다. 순서는 다음과 같습니다.git clone https://github.com/databrickslabs/ontobricks && cd ontobricks.. 2026. 10. 15.
OntoBricks로 이해하는 온톨로지 ② 이해 — OntoBricks란 📚 시리즈① 개념 — 온톨로지와 지식 그래프 첫걸음② 이해 — OntoBricks란 (현재 글)③ 구성 — 설정부터 공개까지④ 데모 — GraphQL·자연어·MCP 질의①편에서는 테이블에 흩어진 사실을 주어 – 관계 – 대상으로 잇고, 그 관계의 의미를 온톨로지로 정의하면 무엇이 달라지는지 보았습니다. 이번 편에서는 이 과정을 Databricks 위에서 한 번에 해 주는 도구인 OntoBricks를 살펴봅니다. 직접 설치하고 따라 하는 과정은 ③편에서 다룹니다.⚠️ OntoBricks는 Databricks 공식 제품이 아니라 Databricks Labs 프로젝트입니다(github.com/databrickslabs/ontobricks). Labs 프로젝트는 탐색용으로 공개된 오픈소스라 Databricks.. 2026. 10. 15.
OntoBricks로 이해하는 온톨로지 ① 개념 — 온톨로지와 지식 그래프 첫걸음 📚 시리즈① 개념 — 온톨로지와 지식 그래프 첫걸음 (현재 글)② 이해 — OntoBricks란③ 구성 — 설정부터 공개까지④ 데모 — GraphQL·자연어·MCP 질의온톨로지(Ontology)는 이름부터 철학 용어처럼 낯섭니다. 이 시리즈는 온톨로지가 무엇이고 어디에 쓰는지를, Databricks 위에서 동작하는 OntoBricks로 직접 만들어 보며 이해하는 것이 목표입니다. 가상 금융그룹 데이터로 온톨로지를 설계하고, 지식 그래프를 만들고, 자연어로 질의하는 데까지 따라갑니다.이 글에서는 다음 세 가지를 다룹니다.온톨로지는 어떤 질문에 필요한가시맨틱 레이어, 온톨로지, 지식 그래프는 무엇이고 어떤 관계인가온톨로지의 구성 요소와 실제 모습ℹ️ 이 시리즈의 회사·인물·상품은 모두 가상입니다. 1. 온.. 2026. 10. 15.
OntoBricks로 이해하는 온톨로지 ④ 데모 — GraphQL·자연어·MCP 질의 📚 시리즈① 개념 — 온톨로지와 지식 그래프 첫걸음② 이해 — OntoBricks란③ 구성 — 설정부터 공개까지④ 데모 — GraphQL·자연어·MCP 질의 (현재 글)③편에서 도토리금융그룹 테이블 6개로 트리플 297개짜리 그래프를 만들고, 추론·검증을 거쳐 공개했습니다. 이번 편에서는 공개(Published)된 그 그래프를 씁니다. Explorer로 눈으로 탐색하고, GraphQL로 직접 묻고, 자연어로 묻고, 외부 에이전트에 연결합니다. 1. 그래프 탐색 (Explorer)Knowledge Graph → Explorer는 트리플을 그래프로 그립니다. 오른쪽 Filter에 도토리홀딩스를 넣고 Search한 뒤 검색 결과에서 Company를 고르면, 2단계 이웃까지 펼쳐집니다.빨강(회사): 도토리홀딩.. 2026. 10. 15.
프롬프트를 컴포넌트로 나눠 조립하기 — 버전 관리는 MLflow Prompt Registry 1. 개요LLM 기반 에이전트는 한 번의 호출마다 필요한 프롬프트가 호출 유형에 따라 달라집니다. 답변 생성·의도(intent) 분류·요약·도구 선택처럼 목적이 다르면 실어야 할 규칙·맥락·예시도 달라지기 때문입니다. 예를 들어 금융 상담 에이전트라면 종합형의 사실 답변은 공통 톤 + 공통 금지 + 종합형 페르소나 + 답변 구조 + 사용자 질의 로 조합되지만, 의도 파악은 페르소나·예시 없이 공통 금지 + 의도 분류 + 사용자 질의 만으로 충분합니다. 하나의 완성 프롬프트를 통째로 관리하면 공통 규칙(톤·금지·가드레일)이 호출 유형마다 여러 벌로 복제돼 어긋나기 쉽습니다. 그래서 본 문서는 프롬프트를 작은 컴포넌트로 나눠 관리하고 호출 시 필요한 것만 조합하는 방식을 정합니다 — 도메인과 무관하게 적용되.. 2026. 8. 30.
Databricks LLMOps ③ MLflow Tracing — LangGraph 관측·한국어 PII 마스킹 📚 시리즈 — Databricks LLMOps① AI Gateway — LLM 폴백·게이트웨이 프록시② Prompt Registry — 프롬프트 버전·alias 관리③ MLflow Tracing — LangGraph 관측·PII 마스킹 — 현재 글 본 가이드는 Databricks 위에서 동작하는 LangGraph 기반 RAG agent 의 모든 호출 (LLM·도구·노드) 을 MLflow Tracing 으로 자동 캡처하고, 클라이언트 단에서 한국어 PII 를 마스킹한 뒤 trace 백엔드로 전송하는 표준 절차를 정의합니다. 데이터 평면 외부로 원본 PII 가 나가지 않도록 mlflow.tracing.configure(span_processors=...) hook 을 사용하며, MLflow Trace UI.. 2026. 7. 6.
Databricks LLMOps ① AI Gateway — LLM 폴백·게이트웨이 프록시·Inference Table 로깅 📚 시리즈 — Databricks LLMOps① AI Gateway — LLM 폴백·게이트웨이 프록시 — 현재 글② Prompt Registry — 프롬프트 버전·alias 관리③ MLflow Tracing — LangGraph 관측·PII 마스킹 1. 개요Mosaic AI Gateway 는 Model Serving 엔드포인트 앞단에서 생성형 AI 호출을 거버넌스·관측·제어 하는 계층입니다. 엔드포인트의 ai_gateway 설정으로 켜며, 사용량 추적·페이로드 로깅(inference table)·레이트 리밋·가드레일·폴백·트래픽 분배를 제공합니다.본 가이드는 서울 리전(ap-northeast-2) 기준이며, A항공 RAG 서울 리전 검증 워크스페이스(dbc-xxxxxxxx-xxxx)에서 실제 검증한.. 2026. 7. 6.
Databricks LLMOps ② Prompt Registry — UC 기반 프롬프트 버전·alias 관리 📚 시리즈 — Databricks LLMOps① AI Gateway — LLM 폴백·게이트웨이 프록시② Prompt Registry — 프롬프트 버전·alias 관리 — 현재 글③ MLflow Tracing — LangGraph 관측·PII 마스킹 1. 개요Managed MLflow Prompt Registry는 MLflow 3 기반에서 LLM 프롬프트를 Unity Catalog 에 등록·버전 관리하고, alias(예: dev)로 운영에 연결하는 기능입니다.프롬프트를 애플리케이션 코드 안에 하드코딩하지 않고 중앙에서 관리하는 것이 핵심 가치입니다.버전(version) 은 불변(immutable) 스냅샷으로 쌓이고, alias 는 특정 버전을 가리키는 가변(mutable) 포인터라서, 운영 중에도 재.. 2026. 7. 6.
RAG 품질 ② 개선 — 임베딩·하이브리드·Rerank·Self-RAG 단계별 누적 개선 실험 📚 시리즈 — RAG 품질① 평가 — MLflow Evaluation 기반 검색·생성 품질 정량 측정② 개선 — 임베딩·하이브리드·Rerank·Self-RAG 단계별 누적 개선 실험 — 현재 글③ 아키텍처 — LangGraph 기반 Agentic RAG 검색 처리 흐름 ⚠️ 예시 안내 — 본 문서의 케이스별 수치·데이터셋은 실제 프로젝트 데이터를 공개 가능한 형태로 재구성한 예시값입니다. 실제 적용 시에는 먼저 도메인에 맞는 골드셋(평가 데이터셋)을 확보하고 품질을 측정한 뒤, 아래 실험 설계·누적 개선 절차를 틀로 활용하세요. 1. 실험 개요Case-by-Case 측정 및 누적 개선 기록목적: 동일한 평가 데이터셋 위에서 청킹 → 임베딩 → Retrieval → Reranking → Self-RAG .. 2026. 7. 4.
RAG 품질 ③ 아키텍처 — LangGraph 기반 Agentic RAG 검색 처리 흐름 📚 시리즈 — RAG 품질① 평가 — MLflow Evaluation 기반 검색·생성 품질 정량 측정② 개선 — 임베딩·하이브리드·Rerank·Self-RAG 단계별 누적 개선 실험③ 아키텍처 — LangGraph 기반 Agentic RAG 검색 처리 흐름 — 현재 글 1. 개요본 에이전트는 LangGraph 기반 ReAct 구조로 동작합니다. 핵심은 두 노드의 반복(루프)입니다.Agent 노드 — LLM(Gemini 3 Flash)이 검색 쿼리를 생성하거나 최종 답변을 작성합니다.검색 노드 — 하이브리드 검색(시맨틱 + 키워드)을 수행하고 Self-RAG 평가로 적합성을 판정합니다.ReAct(Reasoning + Acting) 구조란 — LLM이 추론(Reasoning)으로 "다음에 무엇을 할지"를.. 2026. 7. 4.
RAG 품질 ① 평가 — MLflow Evaluation 기반 검색·생성 품질 정량 측정 📚 시리즈 — RAG 품질① 평가 — MLflow Evaluation 기반 검색·생성 품질 정량 측정 — 현재 글② 개선 — 임베딩·하이브리드·Rerank·Self-RAG 단계별 누적 개선 실험③ 아키텍처 — LangGraph 기반 Agentic RAG 검색 처리 흐름 1. RAG 파이프라인과 평가 개요RAG는 크게 검색(Retrieval) → 증강(Augmentation) → 생성(Generation) 세 단계로 구성됩니다. 평가도 이 세 단계에 맞춰 진행해야 합니다. 왜 단계별로 평가해야 하나요?문제 상황원인 단계평가하지 않으면?엉뚱한 답변이 나옴검색 단계에서 관련 없는 문서를 가져옴생성 모델 탓으로 오해할 수 있음답변에 빠진 내용이 있음검색 단계에서 필요한 문서를 못 찾음어디서 정보가 누락됐는.. 2026. 7. 4.
한국어 RAG 검색 (Kiwi) ④ 부록 — 동의어 적용 위치·IATA 사전 생성/검증·품사·Nori 비교 📚 시리즈 — 한국어 RAG 검색 (Kiwi)① 한국어 BM25·토크나이저 선택과 Kiwi 기본 설정② 사용자·동의어 사전과 복합명사 처리③ 검색 품질 개선·사전 관리·Vector Search 통합④ 부록 — 동의어 적용 위치·IATA 사전 생성/검증·품사·Nori 비교 — 현재 글 부록 A. 동의어 적용 위치 비교·선정 A.1 케이스 정의동의어를 어느 분석 파이프라인 단계에 끼워 넣느냐에 따라 IR 엔진(Lucene·Elasticsearch·OpenSearch·Solr) 의 동작이 달라집니다.Case A — 인덱싱 시점만 확장 (index-time only): 색인 분석기에서 synonym 또는 synonym_graph 필터를 적용해 원문 토큰과 동의어 토큰을 함께 포스팅에 기록.Case B — 검.. 2026. 6. 28.
한국어 RAG 검색 (Kiwi) ③ 검색 품질 개선·사전 관리·Vector Search 통합 📚 시리즈 — 한국어 RAG 검색 (Kiwi)① 한국어 BM25·토크나이저 선택과 Kiwi 기본 설정② 사용자·동의어 사전과 복합명사 처리③ 검색 품질 개선·사전 관리·Vector Search 통합 — 현재 글④ 부록 — 동의어 적용 위치·IATA 사전 생성/검증·품사·Nori 비교 8. 검색 품질 개선 기능Kiwi 가 제공하는 옵션·API 중 검색 품질에 직접 기여하는 기능만 정리합니다. 품질에 영향이 없거나 미미한 옵션(예: Token 메타데이터 출력) 은 본 절에서 제외합니다. 8.1 언어모델 (model_type) — KNLM · SBG · CoNg적용 시점: 양쪽 동일 — 본 가이드 표준 'cong' | 기본값: 'none' (자동 선택)model_type정확도속도메모리권장 시나리오'knlm.. 2026. 6. 28.
한국어 RAG 검색 (Kiwi) ② 사용자·동의어 사전과 복합명사 처리 📚 시리즈 — 한국어 RAG 검색 (Kiwi)① 한국어 BM25·토크나이저 선택과 Kiwi 기본 설정② 사용자·동의어 사전과 복합명사 처리 — 현재 글③ 검색 품질 개선·사전 관리·Vector Search 통합④ 부록 — 동의어 적용 위치·IATA 사전 생성/검증·품사·Nori 비교 5. 사용자 사전왜 필요한가 — Kiwi 의 기본 LM 분석기는 일반 한국어 코퍼스로 학습되어 도메인 특화 어휘 (IATA·항공 약어·복합명사·단위명사 등) 를 잘못 분해하거나 누락할 수 있습니다. 사용자 사전은 도메인 어휘를 런타임에 등록해 형태소 분석의 태그·우선순위·분해 방식 을 제어합니다.언제 쓰는가 — 4가지 시나리오:신규 약어·고유명사 인식 (DGR, ULD, B777)의존명사(NNB) → 일반명사(NNG) 재.. 2026. 6. 28.

티스토리툴바