Ollama

Ollama 是一個用於在本地運行大型語言模型的開源工具。

安裝

基本指令

run

nohup ollama serve &> ollama.log &

check alive

curl http://127.0.0.1:11434/v1/models

pull

ollama pull qwen2.5:0.5b

prompt

curl http://127.0.0.1:11434/api/generate \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5:0.5b",
    "prompt": "who are you?",
    "stream": false
  }'

Ralph Loop