Ollama python 모델 실행하기.

ollama 모델 설치 참고

https://seokbong.tistory.com/303

Mac OS / Windows Ollama로 eeve 모델 설치하여 사용하기

---

응답 값을 Stream으로 받는 방법

import ollama  # pip install ollama

 stream = ollama.chat(
    model='eeve:q4',	# 모델명 입력
    messages=[
        {
            'role': 'User',
            'content': message,		# prompt
        }
    ],
    stream=True,	# 응답값 streaming으로 받을지 결정하는 option
)

# 응답값을 stream으로 받는 경우 아래와 같이 출력 가능
for chunk in stream:
    print(chunk['message']['content'])

 

일반적인 응답 방식

import ollama

response = ollama.chat(model='llama3.1', messages=[
  {
    'role': 'user',
    'content': 'Why is the sky blue?',
  },
])

print(response['message']['content'])

 

---

ref https://github.com/ollama/ollama-python

GitHub - ollama/ollama-python: Ollama Python library