rag6 Building an Internal LLM Server — Ollama vs vLLM, RAG Integration & LDAP Auth A comprehensive guide to building an internal LLM server in air-gapped environments. Covers Ollama vs vLLM comparison, RAG pipeline setup, LDAP authentication, and a phased deployment roadmap.Many organizations are actively adopting cloud-based LLMs like GPT-4 and Claude, but what if your network is completely disconnected from the internet? In air-gapped (network-isolated) environments, externa.. 2026. 3. 31. RAG 임베딩 파이프라인에 최적화된 문서 작성법 | 검색 정확도를 높이는 문서 구조 가이드 안녕하세요. RAG(Retrieval-Augmented Generation) 시스템을 운영하다 보면, 똑같은 내용인데도 문서 포맷에 따라 검색 정확도가 천차만별인 경험을 하게 됩니다. 원인은 대부분 임베딩 파이프라인이 문서를 청킹(chunking)하고 벡터로 변환하는 과정에서 발생하는데요. 오늘은 실제 6단계 임베딩 파이프라인(SentenceAwareTextSplitter → 문서 프리픽스 → Contextual Retrieval → BGE-M3 임베딩 → BM25 인덱스 → 엔티티 추출)을 기준으로, 문서를 어떻게 구조화하고 포맷팅해야 검색 정확도를 극대화할 수 있는지 분석해보겠습니다.📑 목차1. 파이프라인 구조 이해가 먼저다2. 최적의 문서 포맷: 마크다운이 답3. 청킹 친화적 문서 구조 설계4. .. 2026. 3. 20. RAG 검색 품질 개선 방법 (Hybrid Search, Metadata Filtering, Knowledge Graph까지) AI 기반 검색 시스템이나 내부 문서 검색 시스템을 만들다 보면 다음과 같은 문제가 자주 발생합니다.예를 들어 다음과 같은 상황입니다.질문: react 인증 구조 설명그런데 검색 결과가 이렇게 나옵니다.1. react 인증 가이드2. react API 문서3. vue 인증 가이드 ← 문제분명 React을 물어봤는데 Vue 문서가 계속 검색되는 문제가 발생합니다.이 문제는 Vector Search 기반 RAG 시스템에서 매우 흔하게 발생하는 문제입니다.이번 글에서는 다음 내용을 개발자 관점에서 자세히 설명하겠습니다.RAG 검색에서 잘못된 문서가 나오는 이유Vector Search의 한계Hybrid Search 구조Metadata FilteringReranker 적용 방법Knowledge Graph 기반 .. 2026. 3. 9. 사내문서 RAG 전처리 자동화 완벽 가이드 — AI 챗봇 품질을 결정하는 숨겨진 핵심 "그 내용 예전에 누가 정리했는데... 어디 있었더라?"사내 문서가 쌓일수록 이 말을 더 자주 듣게 됩니다. 그래서 많은 기업들이 RAG(Retrieval-Augmented Generation, 검색 증강 생성) 기반 AI 챗봇을 도입하고 있죠. 그런데 막상 구축해보면 AI가 엉뚱한 답변을 내놓거나 오래된 정보를 사실처럼 말하는 상황이 생깁니다.전문가들은 이 문제의 핵심 원인이 AI 모델이 아니라 데이터 전처리에 있다고 입을 모읍니다. 이 글을 읽으면 사내문서 RAG 전처리가 왜 중요한지, 그리고 어떻게 자동화할 수 있는지 처음부터 끝까지 이해할 수 있습니다.목차RAG 전처리란 무엇인가? — GIGO 원칙부터 이해하기전처리 4단계 파이프라인 — 텍스트 추출부터 메타데이터 태깅까지청킹(Chunking) 전.. 2026. 3. 4. 폐쇄망 LLM으로 사내 전용Code어시스턴트 만들기 (Ollama + IDE + Code Graph + Git Patch 자동화 실전 구축 가이드)AI 코드 어시스턴트를 사내 폐쇄망에서 직접 구축할 수 있을까?외부 API를 사용할 수 없는 환경에서도,Ollama 기반 로컬 LLM + 코드 그래프 + Git 자동화를 결합하면Claude Code와 유사한 내부 전용 코드 에이전트를 충분히 구현할 수 있다.이 글에서는 단순 개념이 아니라,실제 구축 가능한 아키텍처와 단계별 로드맵을 정리한다.🎯 목표 시스템 정의구축 목표:폐쇄망 환경로컬 LLM (Ollama)IDE 통합프로젝트 단위 코드 이해다중 파일 수정Git patch 기반 변경테스트 자동 실행코드 그래프 기반 영향 분석🏗 전체 아키텍처[IDE Plugin] │ ▼[AI Agent Se.. 2026. 3. 3. 폐쇄망 환경에서 내부 LLM 서버 구축 아키텍처 — Ollama vs vLLM 비교, RAG 연계, LDAP 인증까지1️⃣ 왜 내부 LLM 서버인가?최근 기업들은 GPT-4나 Claude 같은 클라우드 기반 LLM을 적극 도입하고 있지만,보안상 인터넷이 차단된 폐쇄망(망분리 환경)에서는 외부 모델 사용이 불가능합니다.이때 필요한 것이 바로 내부 LLM 서버(Local LLM Infrastructure)입니다.즉, 오픈소스 기반 모델을 사내 인프라에 직접 배포하고,내부 사용자들이 안전하게 활용할 수 있도록 하는 구조죠.2️⃣ 내부 LLM 서버 구축의 핵심 목표구분목표🔐 보안성외부 통신 차단된 환경에서도 안전하게 운영⚙️ 운영성관리자 중심의 유지보수 및 버전 관리 용이🧠 활용성사내 문서, 매뉴얼, 정책 문서를 LLM과 결합 (RAG)👥 통합성LDA.. 2025. 10. 22. 이전 1 다음 728x90 반응형
