728x90 반응형 LLM3 폐쇄망 Linux GPU 서버에서 LLM+RAG 환경 구축 전략 (Ollama 대안 및 확장 방법) 최근 사내 AI 전환이 가속화되면서, 폐쇄망 환경에서도 대규모 언어모델(LLM)을 운영하려는 기업이 늘고 있습니다.특히, OpenAI나 HuggingFace와 같은 외부 서비스 접근이 제한된 환경에서는 로컬 기반 LLM 서버가 핵심 역할을 합니다.이번 글에서는👉 현재 많이 사용되는 Ollama + OpenWebUI 조합의 장단점을 살펴보고,👉 200명 규모의 개발자들이 함께 사용하는 확장형 LLM+RAG 아키텍처 구성 전략과👉 Nginx 포트 확장을 통한 멀티서비스 운영 방법까지 정리해보겠습니다.🧠 1. 현재 환경: Ollama + OpenWebUI많은 조직에서 가장 손쉽게 구축할 수 있는 방식은 아래 조합입니다.Ollama : 로컬에서 LLM 모델을 실행 (예: llama3, qwen, mist.. 2025. 10. 27. 폐쇄망 환경에서 내부 LLM 서버 구축 아키텍처 — Ollama vs vLLM 비교, RAG 연계, LDAP 인증까지1️⃣ 왜 내부 LLM 서버인가?최근 기업들은 GPT-4나 Claude 같은 클라우드 기반 LLM을 적극 도입하고 있지만,보안상 인터넷이 차단된 폐쇄망(망분리 환경)에서는 외부 모델 사용이 불가능합니다.이때 필요한 것이 바로 내부 LLM 서버(Local LLM Infrastructure)입니다.즉, 오픈소스 기반 모델을 사내 인프라에 직접 배포하고,내부 사용자들이 안전하게 활용할 수 있도록 하는 구조죠.2️⃣ 내부 LLM 서버 구축의 핵심 목표구분목표🔐 보안성외부 통신 차단된 환경에서도 안전하게 운영⚙️ 운영성관리자 중심의 유지보수 및 버전 관리 용이🧠 활용성사내 문서, 매뉴얼, 정책 문서를 LLM과 결합 (RAG)👥 통합성LDA.. 2025. 10. 22. [Ollama] 폐쇄망에 Model 옮기기 (Model 저장위치) 폐쇄망 환경에서 Ollama 를 구축한 경우 모델을 옮기는 일이 참 번거롭습니다.모델을 반입하고 적용하기 위한 방법을 알아보도록할게요.1. 모델 파일 준비인터넷이 연결된 환경에서 모델을 다운로드해야 합니다.다운로드 방법:모델 다운로드ollama pull 명령을 사용해 필요한 모델을 다운로드합니다. ollama pull codellama:70b다운로드된 모델은 기본적으로 ~/.ollama/models 디렉토리에 저장됩니다.모델은 어디에 저장되나요?맥 OS:~/.ollama/models리눅스:/usr/share/ollama/.ollama/models윈도우:C:\Users\%username%\.ollama\models2. 모델 파일 추출다운로드된 모델 파일을 폐쇄망으로 옮길 준비를 합니다.모델 파일 위치 확.. 2025. 1. 15. 이전 1 다음 728x90 반응형
