반응형 openwebui6 [폐쇄망에서 살아남기 EP.00] 인터넷 없는 서버에서 ChatGPT급 AI를 만듭니다 — 시리즈 예고 🔒 폐쇄망에서 살아남기 — 시리즈 예고✅ 인터넷 없는 서버에서 ChatGPT급 AI 서비스를 만드는 전체 과정✅ vLLM + Ollama + LiteLLM + OpenWebUI, 18편 완전 실전 가이드✅ 복사-붙여넣기로 바로 따라할 수 있는 모든 명령어와 설정 파일 시리즈 첫 글 📋 시리즈 목차 EP.01 폐쇄망에서 LLM을 돌려야 하는 이유 → 작성예정회사에서 ChatGPT 쓰고 싶다... "보안 규정상 외부 클라우드 AI 서비스 사용 불가." 공공기관, 금융권, 군, 대기업… 망분리 환경에서 일해본 분이라면 다들 한 번쯤 겪어본 장면일 거예요.그런데 가만히 생각해보면, 틀린 말은 아니에요. 업무 데이터를 외부 서버로 보내는 건 진짜 위험하니까요. 문제는 "안 된다"에서 끝나버리는 것이었어요. ".. 2026. 4. 15. OpenWebUI RAG 설정 최적화 완벽 가이드 — bge-m3 vs nomic-embed-text vs qwen3-embedding 비교 📌 이 글에서 다루는 내용OpenWebUI RAG 검색 품질이 왜 별로인지, 어떤 설정을 바꿔야 하는지 — bge-m3 / nomic-embed-text / qwen3-embedding 임베딩 모델 실전 비교와 Chunk Size, Hybrid Search, Reranker까지 한 번에 정리합니다.로컬 LLM 셋업하고 RAG 연결까지 됐는데, 막상 문서 기반으로 질문하면 엉뚱한 답이 나오는 경험 다들 있으실 거예요. 저도 처음엔 "모델이 멍청한 건가?" 싶었는데, 알고 보니 임베딩 모델 선택이랑 청킹 설정이 문제인 경우가 대부분이었어요. 이 글에서는 OpenWebUI 기준으로 RAG 품질을 실질적으로 끌어올리는 방법을 단계별로 정리해봤습니다.🔍 RAG 품질이 낮은 진짜 이유RAG(Retrieval-A.. 2026. 4. 10. Building an Internal LLM Server — Ollama vs vLLM, RAG Integration & LDAP Auth A comprehensive guide to building an internal LLM server in air-gapped environments. Covers Ollama vs vLLM comparison, RAG pipeline setup, LDAP authentication, and a phased deployment roadmap.Many organizations are actively adopting cloud-based LLMs like GPT-4 and Claude, but what if your network is completely disconnected from the internet? In air-gapped (network-isolated) environments, externa.. 2026. 3. 31. Ollama + OpenWebUI 로 나만의 AI 챗봇 만들기 💡 Ollama + OpenWebUI 로 나만의 AI 챗봇 만들기🧠 1. 개요최근 ChatGPT나 Claude 같은 AI 서비스가 대중화되면서, “나만의 AI”를 로컬 환경에서 운영하고자 하는 개발자들이 많아졌습니다.특히 Ollama와 OpenWebUI 조합은 폐쇄망이나 개인 PC 환경에서도 손쉽게 강력한 AI 모델을 활용할 수 있게 해줍니다.이 글에서는 Ollama가 설치된 상태에서 OpenWebUI를 설치하고 연동하여,브라우저에서 직접 AI 챗봇을 구동하는 방법을 단계별로 정리합니다.⚙️ 2. 준비 사항항목설명✅ OSmacOS / Windows / Linux 모두 지원✅ DockerOpenWebUI를 컨테이너로 실행하기 위해 필요✅ Ollama이미 설치되어 있어야 함✅ 모델 다운로드예: qwen2.. 2025. 11. 12. 폐쇄망 Linux GPU 서버에서 LLM+RAG 환경 구축 전략 (Ollama 대안 및 확장 방법) 최근 사내 AI 전환이 가속화되면서, 폐쇄망 환경에서도 대규모 언어모델(LLM)을 운영하려는 기업이 늘고 있습니다.특히, OpenAI나 HuggingFace와 같은 외부 서비스 접근이 제한된 환경에서는 로컬 기반 LLM 서버가 핵심 역할을 합니다.이번 글에서는👉 현재 많이 사용되는 Ollama + OpenWebUI 조합의 장단점을 살펴보고,👉 200명 규모의 개발자들이 함께 사용하는 확장형 LLM+RAG 아키텍처 구성 전략과👉 Nginx 포트 확장을 통한 멀티서비스 운영 방법까지 정리해보겠습니다.🧠 1. 현재 환경: Ollama + OpenWebUI많은 조직에서 가장 손쉽게 구축할 수 있는 방식은 아래 조합입니다.Ollama : 로컬에서 LLM 모델을 실행 (예: llama3, qwen, mist.. 2025. 10. 27. 폐쇄망 환경에서 내부 LLM 서버 구축 아키텍처 — Ollama vs vLLM 비교, RAG 연계, LDAP 인증까지1️⃣ 왜 내부 LLM 서버인가?최근 기업들은 GPT-4나 Claude 같은 클라우드 기반 LLM을 적극 도입하고 있지만,보안상 인터넷이 차단된 폐쇄망(망분리 환경)에서는 외부 모델 사용이 불가능합니다.이때 필요한 것이 바로 내부 LLM 서버(Local LLM Infrastructure)입니다.즉, 오픈소스 기반 모델을 사내 인프라에 직접 배포하고,내부 사용자들이 안전하게 활용할 수 있도록 하는 구조죠.2️⃣ 내부 LLM 서버 구축의 핵심 목표구분목표🔐 보안성외부 통신 차단된 환경에서도 안전하게 운영⚙️ 운영성관리자 중심의 유지보수 및 버전 관리 용이🧠 활용성사내 문서, 매뉴얼, 정책 문서를 LLM과 결합 (RAG)👥 통합성LDA.. 2025. 10. 22. 이전 1 다음 반응형
