spring ai 2일차 / springaiollama

 

---

Ollama를 사용해서 구현

Ollama는 로컬 환경에서 AI 모델을 실행할 수 있도록 도와주는 프로그램

Ollama는 회사에서도 무료로 사용할 수 있는 라이선스라는 것이 장점

---

springaiollama

라는 프로젝트를 새로 생성

---

application.yaml 코드를 수정

이 설정 파일은 Spring AI 프레임워크를 사용하여 로컬에서 구동 중인

Ollama(LLM 엔진)와 연동하기 위한 application.yml 환경 설정 로직임.

1. 서비스 위치 및 모델 지정: base-url을 통해 로컬 호스트의 11434 포트에서 실행 중인 Ollama 서버를 가리키며,
   사용할 AI 모델을 gemma2로 확정함.
2. 생성 옵션 제어: temperature: 0.7 설정을 통해 AI 응답의 창의성과 일관성 사이의 균형을 조절하며
   (값이 높을수록 창의적), 답변 생성의 미세 조정을 수행함.
3. 모델 자동 관리: pull-model-strategy: when_missing 설정을 통해,
   지정된 모델(gemma2)이 로컬 서버에 없을 경우 자동으로 내려받도록 하여 초기 구동 편의성을 높임.
4. 연결 안정성 확보: 네트워크 지연에 대비해 timeout을 600초로 넉넉히 설정하고,
   실패 시 max-retries를 통해 재시도 횟수를 제한하여 시스템의 자원 낭비를 방지함.

spring:
  application:
    name: springollama
ai:
  model:
    chat: ollama
  ollama:
    base-url: http://localhost:11434
    chat:
      options:
        model: gemma2
        temperature: 0.7
    init:
      # 모델이 로컬에 없을 떄만 다운로드(pull)
      pull-model-strategy: when_missing
      # 초기화 제한 시간을 600초(10분)으로 설정. 시간 안에 끝나지 않으면 실패.
      timeout: 600s
      # 실패했을 때 최대 1번 다시 시도
      max-retries: 1

---

ollama 설치 후 cmd창에서 버전 설치를 확인하고 

gemma2를 설치

 

테스트를 해보면

/bye

나오고 다시 gemma2 테스트

---

static images 폴더를 생성

dogcat.jpg 파일을 넣음

---

[ mistral 다운 ]

ollama pull mistral

---

[ 허깅페이스의 모델 내려받고 실행하기 ]
ollama run hf.co/bartowski/gemma-2-2b-it-GGUF

---

[ 기타 ollama의 모델 내려받기 ]

llava 다운

ollama run llava

 

huihui_ai / kanana-nano-abliterated 다운

ollama run huihui_ai/kanana-nano-abliterated