[Ollama] 폐쇄망에 Model 옮기기 (Model 저장위치)

폐쇄망 환경에서 Ollama 를 구축한 경우 모델을 옮기는 일이 참 번거롭습니다.

모델을 반입하고 적용하기 위한 방법을 알아보도록할게요.

1. 모델 파일 준비

인터넷이 연결된 환경에서 모델을 다운로드해야 합니다.

다운로드 방법:

모델 다운로드
- ollama pull 명령을 사용해 필요한 모델을 다운로드합니다.
- ollama pull codellama:70b
- 다운로드된 모델은 기본적으로 ~/.ollama/models 디렉토리에 저장됩니다.
  - 모델은 어디에 저장되나요?
    - 맥 OS:~/.ollama/models
    - 리눅스:/usr/share/ollama/.ollama/models
    - 윈도우:C:\Users\%username%\.ollama\models

2. 모델 파일 추출

다운로드된 모델 파일을 폐쇄망으로 옮길 준비를 합니다.

모델 파일 위치 확인
만약 특정 모델 파일만 옮기려고 할 경우에는 개별로 모델을 확인해야 합니다.
설치한 모델이 codellama:70b 인 경우 ollama show --modefile 명령어를 사용하여 실제 저장된 모델 파일명을 찾습니다.

PS C:\Users\gmt> ollama show --modelfile codellama:70b
# Modelfile generated by "ollama show"
# To build a new Modelfile based on this, replace FROM with:
# FROM codellama:70b

FROM C:\Users\gmt\.ollama\models\blobs\sha256-1436d66b69757a245f02d000874c670507949d11ad5c188a623652052c6aa508
TEMPLATE "{{ if .System }} Source: system

 {{ .System }} <step>{{ end }} Source: user

 {{ .Prompt }} <step> Source: assistant
Destination: user

 "
PARAMETER stop Source:
PARAMETER stop Destination:
PARAMETER stop <step>

Manifests 폴더내 파일도 함께 압축해야합니다.
쉽게 하려면 model 폴더 하위를 통으로 하면 편합니다.
모델 파일 압축
파일 이동을 위해 모델 파일을 압축합니다.
알집 또는 linux의 경우 tar로 압축하면됩니다.
tar -czvf ollama_models.tar.gz ~/.ollama/models

3. 파일 이동

폐쇄망 서버로 모델 파일을 전송합니다.

USB 또는 외장하드 사용
- 압축된 모델 파일(ollama_models.tar.gz)을 USB 드라이브 또는 외장하드에 복사합니다.
- 물리적 매체를 사용해 폐쇄망 서버로 이동합니다.
폐쇄망 서버에 복사
- USB 또는 외장하드를 통해 파일을 복사합니다. 예:
```
cp /mnt/usb/ollama_models.tar.gz /opt/ollama/
```

4. 모델 파일 적용

폐쇄망 환경에서 Ollama가 모델 파일을 인식하도록 설정합니다.

모델 파일 압축 해제
파일을 Ollama가 사용하는 경로로 압축 해제합니다. 예:
tar -xzvf /opt/ollama/ollama_models.tar.gz -C ~/.ollama/models
Ollama CLI 설정 확인
Ollama가 올바른 경로에서 모델 파일을 인식하는지 확인합니다.이 명령어를 실행했을 때, 설치한 모델이 목록에 표시되어야 합니다.
ollama list

5. 모델 테스트

모델이 정상적으로 작동하는지 확인합니다.

ollama run codellama:70b

저작자표시

Diversity of hobbies