Код: Выделить всё

curl -LsSf https://llama.app/install.sh | sh

Код: Выделить всё

llama serve -hf ggml-org/gpt-oss-120b-GGUF:mxfp4

Код: Выделить всё

 llama serve

Код: Выделить всё

curl http://localhost:9931/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "ggml-org/gpt-oss-20b-GGUF:MXFP4",
    "messages": [{"role": "user", "content": "Hi!"}]
  }'

Код: Выделить всё

llama serve --host 0.0.0.0:9931 --port 9931 -hf ggml-org/gpt-oss-120b-GGUF:mxfp4

Код: Выделить всё

llama serve \
  --host 0.0.0.0:9931 \
  --port 9931 \
  -hf ggml-org/gpt-oss-120b-GGUF:mxfp4 \
  --system-prompt "Ты опытный системный администратор Linux/Windows. Отвечай с учетом лучших практик безопасности и надежности. Предоставляй полные команды и объяснения." \
  --temperature 0.3 \
  --top-p 0.95 \
  --top-k 40 \
  --repeat-penalty 1.1

Код: Выделить всё

{
  "system_prompt": "Ты опытный системный администратор. Специализируешься на настройке серверов, сетей, безопасности и автоматизации. Отвечай точно и профессионально.",
  "temperature": 0.3,
  "top_p": 0.95,
  "top_k": 40,
  "repeat_penalty": 1.1,
  "max_tokens": 2048,
  "context_length": 4096
}

Код: Выделить всё

llama serve \
  --host 0.0.0.0:9931 \
  --port 9931 \
  -hf ggml-org/gpt-oss-120b-GGUF:mxfp4 \
  --config config.json

Код: Выделить всё

import requests

response = requests.post(
  "http://localhost:9931/v1/chat/completions",
  json={
    "model": "gpt-oss-120b",
    "messages": [
      {
        "role": "system",
        "content": "Ты опытный системный администратор Linux. Помогай с конфигурацией, мониторингом и оптимизацией систем."
      },
      {
        "role": "user",
        "content": "Как настроить SSL сертификат на nginx?"
      }
    ],
    "temperature": 0.3,
    "max_tokens": 2048
  }
)
print(response.json())

Код: Выделить всё

llama serve \
  --host 0.0.0.0 \
  --port 9931 \
  -hf ggml-org/gpt-oss-120b-GGUF:mxfp4 \
  -c 4096 \
  -n 2048 \
  -t 8 \
  -b 2048 \
  -ngl 99