본문 바로가기

전체 글128

에이전트 품질 ③ 운영 평가 — 운영 trace 채점·주기 실행·사용자 피드백 📚 시리즈① 설계 — 단계별 평가 지표와 골든셋 작성법② 골든셋 평가 — MLflow Evaluation 기반 싱글턴·멀티턴 채점③ 운영 평가 — 운영 trace 채점·주기 실행·사용자 피드백 (현재 글)골든셋 평가는 미리 정한 문항으로 "알려진 문제가 다시 생기지 않았나"(회귀)를 봅니다. 하지만 실제 사용자는 골든셋에 없는 말투와 질문을 합니다. 이 글은 실제 질문으로 남은 trace 를 정답 없이 채점하는 운영 평가와, 세 평가(골든셋 싱글턴·골든셋 멀티턴·운영)를 매일 돌리는 Job 구성, 그리고 사용자 피드백을 다음 골든셋으로 되돌리는 순환을 정리합니다.이 글에서는 다음 네 가지를 다룹니다.운영 trace 는 어떤 지표로, 어떻게 골라 채점하는가대시보드로 품질 추이를 어떻게 보는가세 평가를 L.. 2026. 10. 28.
에이전트 품질 ② 골든셋 평가 — MLflow Evaluation 기반 싱글턴·멀티턴 채점 📚 시리즈① 설계 — 단계별 평가 지표와 골든셋 작성법② 골든셋 평가 — MLflow Evaluation 기반 싱글턴·멀티턴 채점 (현재 글)③ 운영 평가 — 운영 trace 채점·주기 실행·사용자 피드백①편에서 단계별 지표와 골든셋을 정했습니다. 이 글은 그 골든셋으로 배포된 에이전트를 실제로 호출해 채점합니다. 질문 하나를 trace 하나로 채점하는 싱글턴 평가와, 여러 턴의 대화를 세션 하나로 채점하는 멀티턴 평가는 실행 흐름이 다릅니다.이 글에서는 다음 네 가지를 다룹니다.싱글턴 평가는 어떤 순서로 실행되고, 콘솔에서 결과를 어떻게 읽는가멀티턴 평가는 왜 "대화 보기 trace" 를 따로 만드는가회차끼리 무엇을 기준으로 비교하는가Bedrock 모델을 심판으로 붙일 때 무엇을 조심해야 하는가ℹ️ .. 2026. 10. 28.
에이전트 품질 ① 설계 — 단계별 평가 지표와 골든셋 작성법 📚 시리즈① 설계 — 단계별 평가 지표와 골든셋 작성법 (현재 글)② 골든셋 평가 — MLflow Evaluation 기반 싱글턴·멀티턴 채점③ 운영 평가 — 운영 trace 채점·주기 실행·사용자 피드백도구를 호출해 답하는 에이전트는 답변이 틀렸을 때 원인이 여러 곳에 있을 수 있습니다. 도구를 잘못 골랐을 수도, 도구가 오류를 돌려줬을 수도, 받은 값을 잘못 옮겼을 수도 있습니다. "답이 맞았나"만 재면 어디를 고쳐야 할지 알 수 없습니다. 이 시리즈는 증권 상담 에이전트를 예로, MLflow GenAI Evaluation 으로 답변 품질을 단계별로 재고 배포 전후와 운영 중에 계속 확인하는 방법을 정리합니다.이 글에서는 다음 세 가지를 다룹니다.MLflow 평가는 무엇으로 이루어져 있는가도구 호출.. 2026. 10. 28.
Metric View로 만드는 시맨틱 레이어 — 지표를 한 번 정의하고 어디서나 같은 숫자로 시맨틱 레이어(Semantic Layer)는 원천 데이터와 이를 쓰는 도구(SQL, 대시보드, AI) 사이에서 테이블·컬럼 같은 기술 구조를 "매출", "고객 수" 같은 업무 용어와 지표로 정의해 두는 층입니다. 정의가 한 곳에 있으므로 어떤 도구로 조회하든 같은 숫자가 나옵니다. Databricks에서는 Metric View가 이 중 지표 정의를 맡습니다.시맨틱 레이어가 없으면 같은 지표라도 누가 계산하느냐에 따라 숫자가 달라집니다. "매출"만 해도 대시보드 담당자는 취소 주문을 빼고 분석가는 넣습니다. "고객 수"는 월별 요약표를 다시 합산하는 순간 여러 달 주문한 고객이 중복으로 세어집니다. Metric View는 이런 지표 정의를 Unity Catalog에 한 번만 등록해 두고, SQL·AI/BI.. 2026. 10. 18.
OntoBricks로 이해하는 온톨로지 ③ 구성 — 설정부터 공개까지 📚 시리즈① 개념 — 온톨로지와 지식 그래프 첫걸음② 이해 — OntoBricks란③ 구성 — 설정부터 공개까지 (현재 글)④ 데모 — GraphQL·자연어·MCP 질의이번 편에서는 가상 금융그룹 데이터로 OntoBricks를 배포하고, 온톨로지를 만들고, 테이블에 매핑해 그래프를 만들고, 추론·검증을 거쳐 공개하는 데까지 실제 화면으로 따라갑니다. 화면은 OntoBricks v0.8.1 기준입니다. 1. 앱 배포와 레지스트리 초기화OntoBricks 저장소의 배포 스크립트가 앱 두 개(웹 UI, MCP 서버)를 Databricks Apps로 올립니다. 순서는 다음과 같습니다.git clone https://github.com/databrickslabs/ontobricks && cd ontobricks.. 2026. 10. 15.
OntoBricks로 이해하는 온톨로지 ② 이해 — OntoBricks란 📚 시리즈① 개념 — 온톨로지와 지식 그래프 첫걸음② 이해 — OntoBricks란 (현재 글)③ 구성 — 설정부터 공개까지④ 데모 — GraphQL·자연어·MCP 질의①편에서는 테이블에 흩어진 사실을 주어 – 관계 – 대상으로 잇고, 그 관계의 의미를 온톨로지로 정의하면 무엇이 달라지는지 보았습니다. 이번 편에서는 이 과정을 Databricks 위에서 한 번에 해 주는 도구인 OntoBricks를 살펴봅니다. 직접 설치하고 따라 하는 과정은 ③편에서 다룹니다.⚠️ OntoBricks는 Databricks 공식 제품이 아니라 Databricks Labs 프로젝트입니다(github.com/databrickslabs/ontobricks). Labs 프로젝트는 탐색용으로 공개된 오픈소스라 Databricks.. 2026. 10. 15.
OntoBricks로 이해하는 온톨로지 ① 개념 — 온톨로지와 지식 그래프 첫걸음 📚 시리즈① 개념 — 온톨로지와 지식 그래프 첫걸음 (현재 글)② 이해 — OntoBricks란③ 구성 — 설정부터 공개까지④ 데모 — GraphQL·자연어·MCP 질의온톨로지(Ontology)는 이름부터 철학 용어처럼 낯섭니다. 이 시리즈는 온톨로지가 무엇이고 어디에 쓰는지를, Databricks 위에서 동작하는 OntoBricks로 직접 만들어 보며 이해하는 것이 목표입니다. 가상 금융그룹 데이터로 온톨로지를 설계하고, 지식 그래프를 만들고, 자연어로 질의하는 데까지 따라갑니다.이 글에서는 다음 세 가지를 다룹니다.온톨로지는 어떤 질문에 필요한가시맨틱 레이어, 온톨로지, 지식 그래프는 무엇이고 어떤 관계인가온톨로지의 구성 요소와 실제 모습ℹ️ 이 시리즈의 회사·인물·상품은 모두 가상입니다. 1. 온.. 2026. 10. 15.
OntoBricks로 이해하는 온톨로지 ④ 데모 — GraphQL·자연어·MCP 질의 📚 시리즈① 개념 — 온톨로지와 지식 그래프 첫걸음② 이해 — OntoBricks란③ 구성 — 설정부터 공개까지④ 데모 — GraphQL·자연어·MCP 질의 (현재 글)③편에서 도토리금융그룹 테이블 6개로 트리플 297개짜리 그래프를 만들고, 추론·검증을 거쳐 공개했습니다. 이번 편에서는 공개(Published)된 그 그래프를 씁니다. Explorer로 눈으로 탐색하고, GraphQL로 직접 묻고, 자연어로 묻고, 외부 에이전트에 연결합니다. 1. 그래프 탐색 (Explorer)Knowledge Graph → Explorer는 트리플을 그래프로 그립니다. 오른쪽 Filter에 도토리홀딩스를 넣고 Search한 뒤 검색 결과에서 Company를 고르면, 2단계 이웃까지 펼쳐집니다.빨강(회사): 도토리홀딩.. 2026. 10. 15.
프롬프트를 컴포넌트로 나눠 조립하기 — 버전 관리는 MLflow Prompt Registry 1. 개요LLM 기반 에이전트는 한 번의 호출마다 필요한 프롬프트가 호출 유형에 따라 달라집니다. 답변 생성·의도(intent) 분류·요약·도구 선택처럼 목적이 다르면 실어야 할 규칙·맥락·예시도 달라지기 때문입니다. 예를 들어 금융 상담 에이전트라면 종합형의 사실 답변은 공통 톤 + 공통 금지 + 종합형 페르소나 + 답변 구조 + 사용자 질의 로 조합되지만, 의도 파악은 페르소나·예시 없이 공통 금지 + 의도 분류 + 사용자 질의 만으로 충분합니다. 하나의 완성 프롬프트를 통째로 관리하면 공통 규칙(톤·금지·가드레일)이 호출 유형마다 여러 벌로 복제돼 어긋나기 쉽습니다. 그래서 본 문서는 프롬프트를 작은 컴포넌트로 나눠 관리하고 호출 시 필요한 것만 조합하는 방식을 정합니다 — 도메인과 무관하게 적용되.. 2026. 8. 30.
Databricks LLMOps ③ MLflow Tracing — LangGraph 관측·한국어 PII 마스킹 📚 시리즈 — Databricks LLMOps① AI Gateway — LLM 폴백·게이트웨이 프록시② Prompt Registry — 프롬프트 버전·alias 관리③ MLflow Tracing — LangGraph 관측·PII 마스킹 — 현재 글 본 가이드는 Databricks 위에서 동작하는 LangGraph 기반 RAG agent 의 모든 호출 (LLM·도구·노드) 을 MLflow Tracing 으로 자동 캡처하고, 클라이언트 단에서 한국어 PII 를 마스킹한 뒤 trace 백엔드로 전송하는 표준 절차를 정의합니다. 데이터 평면 외부로 원본 PII 가 나가지 않도록 mlflow.tracing.configure(span_processors=...) hook 을 사용하며, MLflow Trace UI.. 2026. 7. 6.
Databricks LLMOps ① AI Gateway — LLM 폴백·게이트웨이 프록시·Inference Table 로깅 📚 시리즈 — Databricks LLMOps① AI Gateway — LLM 폴백·게이트웨이 프록시 — 현재 글② Prompt Registry — 프롬프트 버전·alias 관리③ MLflow Tracing — LangGraph 관측·PII 마스킹 1. 개요Mosaic AI Gateway 는 Model Serving 엔드포인트 앞단에서 생성형 AI 호출을 거버넌스·관측·제어 하는 계층입니다. 엔드포인트의 ai_gateway 설정으로 켜며, 사용량 추적·페이로드 로깅(inference table)·레이트 리밋·가드레일·폴백·트래픽 분배를 제공합니다.본 가이드는 서울 리전(ap-northeast-2) 기준이며, A항공 RAG 서울 리전 검증 워크스페이스(dbc-xxxxxxxx-xxxx)에서 실제 검증한.. 2026. 7. 6.
Databricks LLMOps ② Prompt Registry — UC 기반 프롬프트 버전·alias 관리 📚 시리즈 — Databricks LLMOps① AI Gateway — LLM 폴백·게이트웨이 프록시② Prompt Registry — 프롬프트 버전·alias 관리 — 현재 글③ MLflow Tracing — LangGraph 관측·PII 마스킹 1. 개요Managed MLflow Prompt Registry는 MLflow 3 기반에서 LLM 프롬프트를 Unity Catalog 에 등록·버전 관리하고, alias(예: dev)로 운영에 연결하는 기능입니다.프롬프트를 애플리케이션 코드 안에 하드코딩하지 않고 중앙에서 관리하는 것이 핵심 가치입니다.버전(version) 은 불변(immutable) 스냅샷으로 쌓이고, alias 는 특정 버전을 가리키는 가변(mutable) 포인터라서, 운영 중에도 재.. 2026. 7. 6.
RAG 품질 ② 개선 — 임베딩·하이브리드·Rerank·Self-RAG 단계별 누적 개선 실험 📚 시리즈 — RAG 품질① 평가 — MLflow Evaluation 기반 검색·생성 품질 정량 측정② 개선 — 임베딩·하이브리드·Rerank·Self-RAG 단계별 누적 개선 실험 — 현재 글③ 아키텍처 — LangGraph 기반 Agentic RAG 검색 처리 흐름 ⚠️ 예시 안내 — 본 문서의 케이스별 수치·데이터셋은 실제 프로젝트 데이터를 공개 가능한 형태로 재구성한 예시값입니다. 실제 적용 시에는 먼저 도메인에 맞는 골드셋(평가 데이터셋)을 확보하고 품질을 측정한 뒤, 아래 실험 설계·누적 개선 절차를 틀로 활용하세요. 1. 실험 개요Case-by-Case 측정 및 누적 개선 기록목적: 동일한 평가 데이터셋 위에서 청킹 → 임베딩 → Retrieval → Reranking → Self-RAG .. 2026. 7. 4.
RAG 품질 ③ 아키텍처 — LangGraph 기반 Agentic RAG 검색 처리 흐름 📚 시리즈 — RAG 품질① 평가 — MLflow Evaluation 기반 검색·생성 품질 정량 측정② 개선 — 임베딩·하이브리드·Rerank·Self-RAG 단계별 누적 개선 실험③ 아키텍처 — LangGraph 기반 Agentic RAG 검색 처리 흐름 — 현재 글 1. 개요본 에이전트는 LangGraph 기반 ReAct 구조로 동작합니다. 핵심은 두 노드의 반복(루프)입니다.Agent 노드 — LLM(Gemini 3 Flash)이 검색 쿼리를 생성하거나 최종 답변을 작성합니다.검색 노드 — 하이브리드 검색(시맨틱 + 키워드)을 수행하고 Self-RAG 평가로 적합성을 판정합니다.ReAct(Reasoning + Acting) 구조란 — LLM이 추론(Reasoning)으로 "다음에 무엇을 할지"를.. 2026. 7. 4.
RAG 품질 ① 평가 — MLflow Evaluation 기반 검색·생성 품질 정량 측정 📚 시리즈 — RAG 품질① 평가 — MLflow Evaluation 기반 검색·생성 품질 정량 측정 — 현재 글② 개선 — 임베딩·하이브리드·Rerank·Self-RAG 단계별 누적 개선 실험③ 아키텍처 — LangGraph 기반 Agentic RAG 검색 처리 흐름 1. RAG 파이프라인과 평가 개요RAG는 크게 검색(Retrieval) → 증강(Augmentation) → 생성(Generation) 세 단계로 구성됩니다. 평가도 이 세 단계에 맞춰 진행해야 합니다. 왜 단계별로 평가해야 하나요?문제 상황원인 단계평가하지 않으면?엉뚱한 답변이 나옴검색 단계에서 관련 없는 문서를 가져옴생성 모델 탓으로 오해할 수 있음답변에 빠진 내용이 있음검색 단계에서 필요한 문서를 못 찾음어디서 정보가 누락됐는.. 2026. 7. 4.

티스토리툴바